GithubBackup/BiliNote
1
0
Fork 0
mirror of https://github.com/JefferyHcool/BiliNote.git synced 2026-06-12 03:00:09 +08:00
Code Issues Packages Projects Releases Wiki Activity
468 Commits 6 Branches 20 Tags
d0760bcbbcd92e1dfb3d0a1c20a7c433fe550388
Commit Graph

12 Commits

Author SHA1 Message Date
huangjianwu
58d992f28f feat(transcriber): 可配置 whisper 模型 + 名称映射（自定义 HF repo / 本地路径） 
此前 fast-whisper 把「size → Systran/faster-whisper-{size}」的约定隐式散落在
加载/下载/检测三处，用户想用命名不符该约定的模型（社区微调版、或自己下到本地
的模型）接不上。本功能把映射显式化 + 可配置（对齐已有的 MLX_MODEL_MAP 模式）。

后端：
- 新增 app/transcriber/whisper_models.py 注册表：内置映射 + 用户自定义
  （config/whisper_models.json 持久化，Docker 下随 config 卷保留）；resolve
  优先级 自定义 > 内置 > 直通（含 / 的 repo_id / 已存在本地目录）。
- whisper.py / config.py 的加载、下载、完整性检测统一走 resolve；HF cache 目录从
  任意 repo_id 推导（models--{org}--{name}）不再写死 Systran；本地路径跳过下载，
  _purge_cache 绝不删用户本地模型。
- 新增 /whisper_models 增删查 API；/transcriber_config 返回内置+自定义列表；
  下载校验放开到「已登记/可解析」的模型。

前端：transcriber.tsx 新增「自定义模型」卡片（增删 + 下载状态），模型下拉自动含自定义。

Docker：自定义 HF 模型下到 /app/backend/models（v2.3.3 models 卷已持久化）；本地模型
走挂载目录 + 配置路径，UI 已提示挂载。

测试：tests/test_whisper_models.py 13 个单测全过；并在 v2.3.3 镜像真实后端环境做了
import 链 + resolve + 真实模型检测的集成冒烟，均通过。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-22 15:09:06 +08:00
huangjianwu
261c95cf12 fix(transcriber): whisper 模型下载/加载统一走 HF cache 布局 
此前用 modelscope 下到自定义目录 whisper-{size}/ 再把该路径传给
WhisperModel。但 faster-whisper 1.1.1 只要 path 含 '/' 就当成 HF
repo_id 处理，没有「本地目录直接返回」分支 → 在线请求失败后 fallback
local_files_only，又因 modelscope 布局命不中 HF cache → LocalEntryNotFound，
误导用户以为是「离线模式」。

改为下载与加载路径对齐：
- 下载：huggingface_hub.snapshot_download(cache_dir=model_dir)，落到 HF
  cache 布局 models--Systran--faster-whisper-{size}/snapshots/<hash>/
- 加载：WhisperModel(model_size_or_path=size, download_root=model_dir)，
  让 faster-whisper 自己映射到 Systran/faster-whisper-* 并命中同一 cache
- 完整性检测 / 损坏自愈(_purge_cache) 同步按 HF cache 布局，并兼容老
  modelscope 目录（向后兼容已下载的老用户）

HF_ENDPOINT 已在 Dockerfile 指向 hf-mirror.com，国内可用。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-22 11:27:03 +08:00
huangjianwu
41f17592c2 fix(backend): 部署韧性——模型自愈/就绪门禁/全局代理/启动诊断 
- whisper: model.bin 截断/损坏时删目录重下重试一次，修「Unable to
  open file model.bin」死循环；mlx 同样按 config.json 判完整性
- /generate_note 加就绪门禁：本地转写引擎模型没下好直接拦截，返回
  reason=transcriber_model_not_ready，不让任务静默卡在首次下载
- 全局代理：新增 ProxyConfigManager（JSON 配置 + HTTP_PROXY env 兜底）
  + build_openai_client，统一注入代理到 LLM/Groq 客户端；yt-dlp 与
  youtube-transcript-api 也走代理
- build_openai_client 校验 api_key 非空，空 key 给「xxx 的 API Key
  未配置」而不是天书般的 Illegal header value b'Bearer '
- universal_gpt: 模型拒绝自定义 temperature（o1/o3/gpt-5 系列）时
  就地去掉参数重试，不消耗重试预算
- connect_test 改用真实 chat completion 而非 /v1/models 探测
- main.py: lifespan 拆 [startup 1/5..5/5] 分段日志 + 异常清晰定位
- /sys_health 重构为结构化返回 {backend,ffmpeg,db,whisper_model}

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-14 19:01:14 +08:00
Jianwu Huang
c4abaf4e60 Revert "Fix/backend deploy resilience" 2026-05-09 14:25:37 +08:00
huangjianwu
2bb69d1581 fix(backend): 部署友好性——whisper 半成品目录与 deploy_status 硬依赖 torch 
两处部署反馈来的问题：

1. WhisperTranscriber 反复抛 'Unable to open file model.bin in
   model whisper-base'
   · 原因：__init__ 只看目录是否存在判定模型已下载（Path(model_path).exists()），
     但首次下载若中断 / 网络异常会留下空 / 半成品目录，下次启动绕过下载分支直接
     进 WhisperModel 加载，于是死循环报错
   · 修：判定条件换成 'model.bin' 落盘存在；目录在但 model.bin 缺失时打 warn
     并触发重新下载
   · routers/config.py 的 _check_whisper_model_exists 同步改用 model.bin 判定，
     避免「已下载」状态在监控页误报

2. /api/deploy_status 在没装 torch 的部署上 500
     ModuleNotFoundError: No module named 'torch'
   · 原因：endpoint 顶部直接 import torch，仅 fast-whisper 才用得到的依赖被强制为
     全局必需。轻量部署 / 用户切到 Groq / 必剪 / 快手 在线引擎时无 torch 也合理
   · 修：torch 改为 try/except，未装或 cuda 检测异常时返回
     {available: false, torch_installed: false}；同时把 transcriber 配置 +
     ffmpeg 都包在 try 里，保证整个监控 endpoint 不会被任一子项打死

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-09 13:57:34 +08:00
huangjianwu
be5e1637fa fix(mlx-whisper): 修正 huggingface 仓库 ID 命名 
mlx-community 上 Whisper 仓库的命名实际是 'whisper-{size}-mlx'（large-v3-turbo 例外，无 -mlx 后缀）。
之前 hardcode 拼成 'mlx-community/whisper-{size}' 在 HF 上不存在，下载会 404：

  Repository Not Found for url:
    https://huggingface.co/api/models/mlx-community/whisper-small/revision/main.

修复：
- 在 mlx_whisper_transcriber.py 加 MLX_MODEL_MAP（已用 huggingface API 核对过命名）+ resolve_mlx_repo_id() 帮助函数
- routers/config.py 的 _do_download_mlx_whisper 与 _check ... 路径生成都改用同一份映射表
- 给 transcriber_models_status 的每条 mlx 状态加 available 字段，避免后续若有不支持的 size 时静默失败

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 11:59:02 +08:00
huangjianwu
c105342ded fix: 性能优化、前端转写器配置、任务进度丢失及 MLX Whisper 回退问题修复 
### 性能优化
- 后端任务执行从串行锁改为 ThreadPoolExecutor 并发执行（默认3线程）
- 添加 GZipMiddleware 响应压缩 + Nginx gzip 配置
- 数据库连接池参数优化（pool_size=10, max_overflow=20）
- 视频帧提取并行化（ThreadPoolExecutor）
- LLM 重试配置缓存到实例，避免每次请求读 env var
- 前端路由级代码拆分（React.lazy + Suspense）
- Vite manualChunks 拆分 markdown/markmap/vendor
- MarkdownViewer 用 React.memo + useMemo 减少不必要渲染
- NoteHistory Fuse.js 实例 useMemo 缓存
- useTaskPolling 无待处理任务时跳过轮询
- 移除 antd 依赖（NoteForm Alert、modelForm Tag），改用 shadcn/ui

### 前端转写器配置（新功能）
- 新增 TranscriberConfigManager（JSON 文件存储，替代环境变量）
- 新增 GET/POST /transcriber_config API 端点
- 新增 GET /transcriber_models_status 模型下载状态查询
- 新增 POST /transcriber_download 后台模型下载触发
- 前端转写器设置页面：引擎选择、模型大小选择、模型下载管理
- deploy_status 端点同步从配置文件读取

### Bug 修复
- 修复任务进行中切换页面后进度丢失：Home.tsx status 派生逻辑补全中间状态
- 修复 MLX Whisper 静默回退 fast-whisper：移除环境变量门控，macOS 下自动尝试导入
- MLX Whisper 不可用时抛出 RuntimeError 而非静默回退
- 前端展示 MLX Whisper 可用性状态，不可用时禁用保存

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 14:09:34 +08:00
sibuchen
8cd8c6f7b4 feat: add deployment monitor page 
- Add /deploy_status API endpoint for system status check
- Create Monitor.tsx component with real-time status display
- Support CUDA, FFmpeg, Whisper model status monitoring
- Auto-refresh every 30 seconds with manual refresh option
 2026-02-06 16:15:11 +08:00
JefferyHcool
50bf467341 refactor(backend): 修改系统初始化和健康检查相关逻辑 
- 更新 BackendInitDialog 组件中的提示信息，增加报错提示
- 在 config 路由中添加 sys_check 接口，用于系统检查
- 修改 useCheckBackend钩子，使用新的 sys_check接口进行系统检查
 2025-06-20 13:44:48 +08:00
JefferyHcool
f23ed6ec6c feat(system): 添加后端初始化和健康检查功能 
- 新增后端初始化对话框组件
- 实现后端健康检查和初始化逻辑
- 在 App 组件中集成后端初始化和健康检查
- 新增系统健康检查 API 和相关服务
 2025-06-20 13:05:42 +08:00
JefferyHcool
8b1bc54f2d refactor(backend): 重构后端异常处理和模型管理 
- 新增自定义异常类 BizException、NoteError 和 ProviderError
- 优化了模型管理相关的逻辑，包括加载、删除和测试连接等功能
- 改进了 Douyin 下载器的错误处理
- 调整了任务重试逻辑和笔记生成的异常处理- 更新了相关组件和页面以适应新的异常处理机制
 2025-06-06 21:30:23 +08:00
黄建武
21c9d47495 feat(download): 添加快手下载器并优化下载配置功能 
- 新增快手下载器，支持快手视频下载
- 添加下载配置页面，可设置各平台Cookies
- 优化后端接口，增加获取和更新Cookies的功能
- 前端新增Downloader组件和相关表单组件
- 更新路由配置，增加下载配置相关路由
 2025-05-08 18:15:59 +08:00