GithubBackup/BiliNote
1
0
Fork 0
mirror of https://github.com/JefferyHcool/BiliNote.git synced 2026-05-28 13:00:25 +08:00
Code Issues Packages Projects Releases Wiki Activity
405 Commits 5 Branches 19 Tags
c4abaf4e6052f5891a29a94c74b0bd8dbd93535a
Commit Graph

29 Commits

Author SHA1 Message Date
Jianwu Huang
c4abaf4e60 Revert "Fix/backend deploy resilience" 2026-05-09 14:25:37 +08:00
huangjianwu
2bb69d1581 fix(backend): 部署友好性——whisper 半成品目录与 deploy_status 硬依赖 torch 
两处部署反馈来的问题：

1. WhisperTranscriber 反复抛 'Unable to open file model.bin in
   model whisper-base'
   · 原因：__init__ 只看目录是否存在判定模型已下载（Path(model_path).exists()），
     但首次下载若中断 / 网络异常会留下空 / 半成品目录，下次启动绕过下载分支直接
     进 WhisperModel 加载，于是死循环报错
   · 修：判定条件换成 'model.bin' 落盘存在；目录在但 model.bin 缺失时打 warn
     并触发重新下载
   · routers/config.py 的 _check_whisper_model_exists 同步改用 model.bin 判定，
     避免「已下载」状态在监控页误报

2. /api/deploy_status 在没装 torch 的部署上 500
     ModuleNotFoundError: No module named 'torch'
   · 原因：endpoint 顶部直接 import torch，仅 fast-whisper 才用得到的依赖被强制为
     全局必需。轻量部署 / 用户切到 Groq / 必剪 / 快手 在线引擎时无 torch 也合理
   · 修：torch 改为 try/except，未装或 cuda 检测异常时返回
     {available: false, torch_installed: false}；同时把 transcriber 配置 +
     ffmpeg 都包在 try 里，保证整个监控 endpoint 不会被任一子项打死

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-09 13:57:34 +08:00
huangjianwu
406789f834 feat(extension+backend): 插件直接在浏览器里抓 B 站字幕，跳过后端 download_subtitles 
之前 B 站字幕优先逻辑放在后端的 BilibiliSubtitleFetcher，需要后端通过 CookieConfigManager
管理 SESSDATA cookie 才能拿 AI 字幕。这次改为：插件在用户浏览器里直接抓字幕，
天然带着用户当前登录态的 cookie；后端只负责把传过来的字幕当作转写缓存。

extension：
- 新增 logic/bilibili-subtitle.ts，调 /x/web-interface/view → /x/player/wbi/v2 → 字幕 URL JSON
  · service worker fetch 走 credentials:'include'，借 manifest host_permissions:'*://*/*'
    自动带 .bilibili.com 域 cookie，并绕过 CORS
  · 优先级：人工中文 > AI 中文 > 任意非空
- popup start() 与 background startTask() 在 platform === 'bilibili' 时先调一次抓取，
  结果作为 prefetched_transcript 字段塞到 /api/generate_note payload
- types.ts GenerateRequest 增加 prefetched_transcript 字段

backend：
- VideoRequest 增加可选 prefetched_transcript: dict
- generate_note endpoint 收到时调 _persist_prefetched_transcript() 写到
  NOTE_OUTPUT_DIR/<task_id>_transcript.json；NoteGenerator 的 cache-hit 逻辑天然命中，
  跳过 downloader.download_subtitles 和音频转写，直接走 GPT 总结
- 字幕清洗：去掉空 segment、必要时合成 full_text、language 默认 'zh'

效果：B 站登录用户的视频，从用户点击到 GPT 拿到全文，省掉一次后端 → B 站 API 的来回，
也彻底告别了 backend 那侧的 cookie 配置心智负担。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 12:23:16 +08:00
huangjianwu
be5e1637fa fix(mlx-whisper): 修正 huggingface 仓库 ID 命名 
mlx-community 上 Whisper 仓库的命名实际是 'whisper-{size}-mlx'（large-v3-turbo 例外，无 -mlx 后缀）。
之前 hardcode 拼成 'mlx-community/whisper-{size}' 在 HF 上不存在，下载会 404：

  Repository Not Found for url:
    https://huggingface.co/api/models/mlx-community/whisper-small/revision/main.

修复：
- 在 mlx_whisper_transcriber.py 加 MLX_MODEL_MAP（已用 huggingface API 核对过命名）+ resolve_mlx_repo_id() 帮助函数
- routers/config.py 的 _do_download_mlx_whisper 与 _check ... 路径生成都改用同一份映射表
- 给 transcriber_models_status 的每条 mlx 状态加 available 字段，避免后续若有不支持的 size 时静默失败

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 11:59:02 +08:00
liang09255
c9ab763f1b fix(frontend): 修复供应商开关切换不能实时生效的问题 2026-05-02 21:51:33 +08:00
Jianwu Huang
a2ab457f75 Merge pull request #299 from JefferyHcool/feature/note-qa-chat-optimize 
Feature/note qa chat optimize
 2026-03-23 16:00:15 +08:00
huangjianwu
2f2eb646a4 fix(chat): 索引改为后台异步执行，前端轮询状态并展示进度提示 
后端：
- /chat/index 改为 BackgroundTasks 异步执行，立即返回
- /chat/status 返回细粒度状态（idle/indexing/indexed/failed）
- 内存追踪索引进度，避免重复触发

前端：
- ChatPanel 每 2 秒轮询索引状态，索引完成后自动停止
- 索引中显示"正在索引笔记内容..."及首次下载模型提示
- 索引失败显示重试按钮

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 14:46:37 +08:00
huangjianwu
efadbc267d feat(chat): 基于 RAG 的笔记内容 AI 问答功能 
实现类似 Google NotebookLM 的效果：笔记生成后自动向量化，
用户可针对笔记内容进行 LLM 问答。

### 后端
- 新增 VectorStoreManager（ChromaDB），按标题/转录分块建立向量索引
- 新增 chat_service.py RAG 问答：检索相关片段 → 构建 prompt → 调用 LLM
- 新增 /chat/index, /chat/ask, /chat/status API 端点
- 笔记生成完成后自动建立向量索引

### 前端
- 使用 @ant-design/x Bubble.List + Sender 组件构建聊天面板
- 新增 chatStore（Zustand + persist）持久化聊天记录
- MarkdownViewer 右侧嵌入 ChatPanel，通过"AI 问答"按钮切换
- 首次打开自动检查/触发索引，支持重新索引

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 14:38:39 +08:00
huangjianwu
c105342ded fix: 性能优化、前端转写器配置、任务进度丢失及 MLX Whisper 回退问题修复 
### 性能优化
- 后端任务执行从串行锁改为 ThreadPoolExecutor 并发执行（默认3线程）
- 添加 GZipMiddleware 响应压缩 + Nginx gzip 配置
- 数据库连接池参数优化（pool_size=10, max_overflow=20）
- 视频帧提取并行化（ThreadPoolExecutor）
- LLM 重试配置缓存到实例，避免每次请求读 env var
- 前端路由级代码拆分（React.lazy + Suspense）
- Vite manualChunks 拆分 markdown/markmap/vendor
- MarkdownViewer 用 React.memo + useMemo 减少不必要渲染
- NoteHistory Fuse.js 实例 useMemo 缓存
- useTaskPolling 无待处理任务时跳过轮询
- 移除 antd 依赖（NoteForm Alert、modelForm Tag），改用 shadcn/ui

### 前端转写器配置（新功能）
- 新增 TranscriberConfigManager（JSON 文件存储，替代环境变量）
- 新增 GET/POST /transcriber_config API 端点
- 新增 GET /transcriber_models_status 模型下载状态查询
- 新增 POST /transcriber_download 后台模型下载触发
- 前端转写器设置页面：引擎选择、模型大小选择、模型下载管理
- deploy_status 端点同步从配置文件读取

### Bug 修复
- 修复任务进行中切换页面后进度丢失：Home.tsx status 派生逻辑补全中间状态
- 修复 MLX Whisper 静默回退 fast-whisper：移除环境变量门控，macOS 下自动尝试导入
- MLX Whisper 不可用时抛出 RuntimeError 而非静默回退
- 前端展示 MLX Whisper 可用性状态，不可用时禁用保存

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 14:09:34 +08:00
Jianwu Huang
15d851f0d0 Merge branch 'master' into master 2026-03-20 16:50:43 +08:00
CyanAutumn
d9a7b89e7d 🐞 fix: 增加错误之后对已解析段落的缓存功能,再次重试时不再重头开始 
解析长视频时,当附件大小过大时不再调用后进行报错,而是将附件进行分批次发送

在每篇笔记开头默认增加地址来源链接,对模糊处可溯源
 2026-02-12 18:28:11 +08:00
sibuchen
8cd8c6f7b4 feat: add deployment monitor page 
- Add /deploy_status API endpoint for system status check
- Create Monitor.tsx component with real-time status display
- Support CUDA, FFmpeg, Whisper model status monitoring
- Auto-refresh every 30 seconds with manual refresh option
 2026-02-06 16:15:11 +08:00
JefferyHcool
50bf467341 refactor(backend): 修改系统初始化和健康检查相关逻辑 
- 更新 BackendInitDialog 组件中的提示信息，增加报错提示
- 在 config 路由中添加 sys_check 接口，用于系统检查
- 修改 useCheckBackend钩子，使用新的 sys_check接口进行系统检查
 2025-06-20 13:44:48 +08:00
JefferyHcool
f23ed6ec6c feat(system): 添加后端初始化和健康检查功能 
- 新增后端初始化对话框组件
- 实现后端健康检查和初始化逻辑
- 在 App 组件中集成后端初始化和健康检查
- 新增系统健康检查 API 和相关服务
 2025-06-20 13:05:42 +08:00
JefferyHcool
d92cc4a977 feat(NoteForm): 增加文件上传状态反馈 2025-06-19 14:54:51 +08:00
JefferyHcool
f1cc79aab4 fix:修复bugs 2025-06-06 21:49:07 +08:00
JefferyHcool
8b1bc54f2d refactor(backend): 重构后端异常处理和模型管理 
- 新增自定义异常类 BizException、NoteError 和 ProviderError
- 优化了模型管理相关的逻辑，包括加载、删除和测试连接等功能
- 改进了 Douyin 下载器的错误处理
- 调整了任务重试逻辑和笔记生成的异常处理- 更新了相关组件和页面以适应新的异常处理机制
 2025-06-06 21:30:23 +08:00
JefferyHcool
be3db5faaf feat(model): 增加模型管理和测试功能 
- 新增模型删除功能
- 实现模型测试连接功能
- 优化模型选择器组件
- 更新模型相关API和数据库操作
 2025-05-26 23:16:49 +08:00
JefferyHcool
9b298d3094 feat(model): 增加模型管理和测试功能 
- 新增模型删除功能
- 实现模型测试连接功能
- 优化模型选择器组件
- 更新模型相关API和数据库操作
 2025-05-26 23:16:19 +08:00
黄建武
21c9d47495 feat(download): 添加快手下载器并优化下载配置功能 
- 新增快手下载器，支持快手视频下载
- 添加下载配置页面，可设置各平台Cookies
- 优化后端接口，增加获取和更新Cookies的功能
- 前端新增Downloader组件和相关表单组件
- 更新路由配置，增加下载配置相关路由
 2025-05-08 18:15:59 +08:00
黄建武
cbc94fafce fix(provider): 重新启用通过 ID 获取供应商信息的接口并增强安全性 
- 重新启用了 /get_provider_by_id/{id}接口
- 新增了 get_provider_by_id_safe 方法，用于安全地获取供应商信息
- 将原有的 get_provider_by_id 方法重命名为 get_provider_by_id_safe
 2025-05-04 17:48:15 +08:00
黄建武
97f153646f feat(frontend): 新增多版本笔记功能，并做了向下兼容。 
- 新增关于页面组件，介绍项目背景、功能和使用方法
- 重构笔记生成逻辑，支持多版本笔记
- 新增笔记版本选择、复制和导出功能
-优化笔记界面布局和交互
- 调整部分组件样式，提升用户体验
 2025-05-04 11:00:54 +08:00
黄建武
0e055b34ca feat(MarkdownViewer):增强 Markdown 解析和渲染能力 
- 添加对 GFM (GitHub Flavored Markdown) 的支持
- 增加数学公式渲染功能
- 实现加粗编号标题的特殊处理
- 优化代码块样式
- 添加图片缩放功能
 2025-05-03 02:24:56 +08:00
黄建武
6e084f720d feat(note): 添加视频理解功能- 在 GPT 模型中增加 video_img_urls 字段用于存储视频截图 
- 在笔记生成请求中添加视频理解相关参数
- 实现视频截图功能，支持按指定间隔生成截图
- 更新笔记生成逻辑，支持视频理解功能- 在前端服务中添加视频理解相关参数
 2025-05-02 23:47:15 +08:00
黄建武
04dad3b72a feat(downloaders): 添加抖音视频识别功能 
- 新增 abogus.py 文件，实现 a_bogus 参数的生成逻辑
- 代码源自 JoeanAmier/TikTokDownloader 项目，并进行了适配和优化
- 功能包括生成用户代理字符串、加密 URL 参数和生成最终的 a_bogus值
- 提供了详细的注释和函数说明，便于理解和维护
 2025-05-02 14:00:29 +08:00
思诺特
c65de4654f feat(local): 添加本地视频处理功能 
- 实现本地视频上传和处理功能
- 新增 LocalDownloader 类处理本地视频
- 更新前端界面支持本地视频选择
- 添加视频封面提取和保存功能
- 优化后端路由支持本地视频上传
 2025-04-28 13:34:09 +08:00
思诺特
171dea5e0d feat: 新增模型管理和供应商配置功能 
### v1.1.0
- #### Added
  - 新增 AI 笔记风格选择
  - 新增 AI 笔记返回格式选择
  - 添加 AI 自定义笔记备注 Prompt
  - 添加任务失败重试
  - 添加全局设置页，可在设置页进行模型设置

- #### Optimize
  - 优化前端样式，优化用户体验
  - 增加生成中间产物，可用于失败后加快生成速度
- #### Fix
  - 修复视频截图视频过早删除错误
 2025-04-26 23:40:17 +08:00
Jefferyhcool
bb974b0b89 :feat 新增模型配置页面和相关功能 
- 新增模型配置页面组件和路由
- 实现模型配置表单和相关逻辑- 添加全局配置入口和功能- 优化首页布局和样式- 新增 404 页面组件
- 更新部分组件样式和结构
 2025-04-22 17:01:02 +08:00
Jefferyhcool
0e0b8da317 first commit 2025-04-13 17:44:54 +08:00