GithubBackup/BiliNote
1
0
Fork 0
mirror of https://github.com/JefferyHcool/BiliNote.git synced 2026-09-01 21:56:49 +08:00
Code Issues Packages Projects Releases Wiki Activity
502 Commits 4 Branches 25 Tags
3e579b143464c9e5bbd5a4b70a39e8fe67aa7191
Commit Graph
10 Commits
Author SHA1 Message Date
pumpkinperson996 3e579b1434 fix(youtube): 修复 YouTube 笔记生成失败 "Requested format is not available" 
## 问题

输入 YouTube 链接生成笔记时任务必定失败：

    ERROR: [youtube] <id>: Requested format is not available

即使字幕已经抓取成功（日志里能看到"成功获取 YouTube 字幕，共 N 段"），
任务仍然在下载阶段崩掉。

## 原因

两个独立的问题叠加：

1. `requirements.txt` 把 yt-dlp 钉在 `2025.3.31`。YouTube 之后轮换过
   player，旧版 yt-dlp 解不出 nsig 签名，所有音视频格式都被丢弃，只剩下
   storyboard 图片（日志：`Only images are available for download`），
   格式选择随即抛错。

2. 有字幕时 `NoteGenerator` 走的是"只取元信息"的路径
   （`download(skip_download=True)`，只要 title/duration/cover），但
   `YoutubeDownloader.download` 无条件设置了
   `format='bestaudio[ext=m4a]/bestaudio/best'`。于是一个根本不需要媒体流的
   调用，也会因为选不出格式而失败——把一个字幕已经到手的任务整个带崩。

## 改动

- `youtube_downloader.py`：`skip_download` 时设置
  `ignore_no_formats_error=True`。yt-dlp 落后于 YouTube 时，只取元信息的路径
  降级为"没有音频"，而不是让整个笔记失败。
- `youtube_downloader.py`：`ext = info.get("ext") or "m4a"`。跳过下载时
  yt-dlp 返回 `ext=None`，`dict.get` 的默认值对显式 None 不生效，
  会拼出 `xxx.None` 这样的路径。
- `requirements.txt`：`yt-dlp==2025.3.31` → `>=2026.7.4`。yt-dlp 是对抗
  YouTube 变化的滚动依赖，精确钉版本本身就是这个 bug 的成因；用 `>=` 与同文件
  的 `youtube-transcript-api>=1.0.0` 保持一致。
- `bilibili_dm_patch.py`：wrapper 改为透传 `**kwargs`。升级 yt-dlp 后
  `_real_extract` 会以 `fatal=False` 调用 `_download_playinfo`，而 wrapper
  钉死了签名，导致 **所有 B 站下载** 抛
  `TypeError: ... got an unexpected keyword argument 'fatal'`。
- 测试：新增 `test_youtube_metadata_only.py` 覆盖上面两条 YouTube 保证；
  `test_bilibili_dm_patch.py` 新增未知 kwargs 透传用例，并让 fake 响应带上
  `code` 字段（yt-dlp 2026.x 会先校验信封再返回 data）。

## 验证

- 真实跑通：YouTube（有字幕，走元信息路径）与 B 站（无字幕，走完整下载 +
  转写）均能生成笔记。
- `pytest tests/` → 46 passed。唯一失败的
  `test_task_serial_executor` 在升级前后表现一致，与本次改动无关，未作改动。
 2026-07-25 07:37:10 -05:00
huangjianwuandClaude Opus 4.8 4a87c5b93b fix(transcriber): 下载失败时透传错误到前端并提示 
issue #402 衍生问题：whisper 模型后台下载失败时，/transcriber_models_status
只回传 downloading/downloaded 两个布尔，failed 态被直接丢弃，于是前端表现为
「点了下载没反应、状态一直未下载、且无任何错误提示」。

后端：新增轻量模块 model_download_state 统一维护下载状态（downloading/done/
failed）与失败原因，config.py 的下载触发与状态查询共享同一份内存态；状态接口
新增 failed 字段，失败时附带 error（仓库 404、网络中断、本地路径缺 model.bin 等）。

前端：模型管理列表新增「下载失败」红色徽标 + 错误详情，按钮在失败后变为「重试」；
自定义模型项同样展示失败图标与原因；并对「本次新出现的失败」弹一次 toast 主动提示。

测试：新增 test_model_download_state 覆盖状态流转（downloading/done/failed、
失败原因透传、downloaded 覆盖 failed、重下清错、mlx key 隔离）。

已用 docker compose 启动整套栈验证：触发本地路径缺失与 HF 仓库 404 两种失败，
/transcriber_models_status 均正确回传 failed:true + error。

Refs #402

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 10:50:55 +08:00
huangjianwuandClaude Opus 4.8 3841719d5a fix(transcriber): 修复 large-v3-turbo 因仓库 404 无法下载 
Systran/faster-whisper-large-v3-turbo 已从 HuggingFace 下架（API 返回
401/404，仓库不存在）。用户点击下载后，后台 snapshot_download 立即抛错
被吞掉，_downloading 置为 failed 但状态接口只回传 downloading/downloaded
两个布尔，于是表现为：无进度转圈、状态一直「未下载」、前端无错误提示。

改用社区维护的 CT2 转换版 deepdml/faster-whisper-large-v3-turbo-ct2：
HF 直链可达（200，无重定向，保证缓存目录名与存在性检测一致），含
model.bin 等全部所需文件，与 faster-whisper 的 large-v3-turbo 等价。

附回归测试，断言 large-v3-turbo 解析到存活仓库而非已失效的 Systran 仓库。

Closes #402

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 10:50:55 +08:00
Jianwu Huang 54714faa73 Merge pull request #410 from JefferyHcool/fix/bilibili-412-dm-img-params 
fix(bilibili): 注入 dm_img 风控参数修复 wbi/playurl 412
 2026-06-17 09:58:37 +08:00
Jianwu Huang 67253a1bf2 Merge pull request #381 from Loker-Choi/fix/youtube-shorts-url 
fix(youtube): 支持 Shorts 链接
 2026-06-17 09:58:30 +08:00
huangjianwuandClaude Opus 4.8 f79dc612fb fix(bilibili): 注入 dm_img 风控参数修复 wbi/playurl 412 
B 站 wbi/playurl 网关新增 dm_img_list/dm_img_str/dm_cover_img_str/
dm_img_inter + web_location 风控校验,缺失即返回 HTTP 412。对于网页不内嵌
playinfo、必须走 API 的视频(如 BV1X9L16oEgB),yt-dlp(含最新版)尚未适配,
导致下载失败,且刷新 cookie 无效。

通过猴补丁在 BilibiliBaseIE._download_playinfo 的 wbi 签名前注入哑值 dm_img
参数(取值形态对齐 yt-dlp 自身在 arc/search 端点的用法),即可恢复 200。
已验证补丁对固定版 2025.03.31 与最新 2026.06.09 签名一致、向前兼容;新增 4 个单元测试。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-17 09:55:54 +08:00
Loker 7d4573f84e fix(youtube): support shorts urls 2026-05-26 17:13:28 +08:00
huangjianwuandClaude Opus 4.7 58d992f28f feat(transcriber): 可配置 whisper 模型 + 名称映射（自定义 HF repo / 本地路径） 
此前 fast-whisper 把「size → Systran/faster-whisper-{size}」的约定隐式散落在
加载/下载/检测三处，用户想用命名不符该约定的模型（社区微调版、或自己下到本地
的模型）接不上。本功能把映射显式化 + 可配置（对齐已有的 MLX_MODEL_MAP 模式）。

后端：
- 新增 app/transcriber/whisper_models.py 注册表：内置映射 + 用户自定义
  （config/whisper_models.json 持久化，Docker 下随 config 卷保留）；resolve
  优先级 自定义 > 内置 > 直通（含 / 的 repo_id / 已存在本地目录）。
- whisper.py / config.py 的加载、下载、完整性检测统一走 resolve；HF cache 目录从
  任意 repo_id 推导（models--{org}--{name}）不再写死 Systran；本地路径跳过下载，
  _purge_cache 绝不删用户本地模型。
- 新增 /whisper_models 增删查 API；/transcriber_config 返回内置+自定义列表；
  下载校验放开到「已登记/可解析」的模型。

前端：transcriber.tsx 新增「自定义模型」卡片（增删 + 下载状态），模型下拉自动含自定义。

Docker：自定义 HF 模型下到 /app/backend/models（v2.3.3 models 卷已持久化）；本地模型
走挂载目录 + 配置路径，UI 已提示挂载。

测试：tests/test_whisper_models.py 13 个单测全过；并在 v2.3.3 镜像真实后端环境做了
import 链 + resolve + 真实模型检测的集成冒烟，均通过。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-22 15:09:06 +08:00
voidborne-d 3ff7086491 fix(backend): UniversalGPT.create_messages emit string content when no images 
DeepSeek deepseek-chat 等非多模态模型只接受 ``content`` 为字符串。旧实现在
没有 ``video_img_urls`` 输入时也把 ``content`` 拼成
``[{"type":"text","text":...}]`` 多模态数组，导致 DeepSeek API 返回
``Failed to deserialize the JSON body into the target type: messages[0]:
unknown variant `image_url`, expected `text```，整个笔记生成流程随之崩溃。

修复方式：``create_messages`` 在没有截图时退回 string content；有截图时维持
原多模态数组形态，多模态模型功能不退化。同时把 ``_build_merge_messages`` 也
改为 string content —— 合并阶段从不带图片，旧的数组形态会让长视频 chunk
之后的合并阶段同样命中 DeepSeek 400。

新增 ``backend/tests/test_universal_gpt_content_format.py`` (6 cases)：

- 无图片 / 显式空 image 列表都走 string content
- 有图片仍输出多模态数组（含 ``image_url`` + ``detail: auto``）
- 纯文本响应里完全不含 ``image_url`` 字段
- ``_build_merge_messages`` 用 string content + 仍带入 partials 文本

红基线：在不打补丁的 ``universal_gpt.py`` 上跑这 6 个 case，3 个 string-
content 断言会失败（命中 issue #282 的同一根因），打补丁后 6/6 通过。

Closes #282
 2026-05-07 13:50:59 +08:00
CyanAutumn d9a7b89e7d 🐞 fix: 增加错误之后对已解析段落的缓存功能,再次重试时不再重头开始 
解析长视频时,当附件大小过大时不再调用后进行报错,而是将附件进行分批次发送

在每篇笔记开头默认增加地址来源链接,对模糊处可溯源
 2026-02-12 18:28:11 +08:00