BiliNote

523 Commits 4 Branches 25 Tags

2 Commits

Include renames

Author	SHA1	Message	Date
pumpkinperson996	3e579b1434	fix(youtube): 修复 YouTube 笔记生成失败 "Requested format is not available" ## 问题输入 YouTube 链接生成笔记时任务必定失败： ERROR: [youtube] <id>: Requested format is not available 即使字幕已经抓取成功（日志里能看到"成功获取 YouTube 字幕，共 N 段"），任务仍然在下载阶段崩掉。 ## 原因两个独立的问题叠加： 1. `requirements.txt` 把 yt-dlp 钉在 `2025.3.31`。YouTube 之后轮换过 player，旧版 yt-dlp 解不出 nsig 签名，所有音视频格式都被丢弃，只剩下 storyboard 图片（日志：`Only images are available for download`），格式选择随即抛错。 2. 有字幕时 `NoteGenerator` 走的是"只取元信息"的路径（`download(skip_download=True)`，只要 title/duration/cover），但 `YoutubeDownloader.download` 无条件设置了 `format='bestaudio[ext=m4a]/bestaudio/best'`。于是一个根本不需要媒体流的调用，也会因为选不出格式而失败——把一个字幕已经到手的任务整个带崩。 ## 改动 - `youtube_downloader.py`：`skip_download` 时设置 `ignore_no_formats_error=True`。yt-dlp 落后于 YouTube 时，只取元信息的路径降级为"没有音频"，而不是让整个笔记失败。 - `youtube_downloader.py`：`ext = info.get("ext") or "m4a"`。跳过下载时 yt-dlp 返回 `ext=None`，`dict.get` 的默认值对显式 None 不生效，会拼出 `xxx.None` 这样的路径。 - `requirements.txt`：`yt-dlp==2025.3.31` → `>=2026.7.4`。yt-dlp 是对抗 YouTube 变化的滚动依赖，精确钉版本本身就是这个 bug 的成因；用 `>=` 与同文件的 `youtube-transcript-api>=1.0.0` 保持一致。 - `bilibili_dm_patch.py`：wrapper 改为透传 `kwargs`。升级 yt-dlp 后 `_real_extract` 会以 `fatal=False` 调用 `_download_playinfo`，而 wrapper 钉死了签名，导致所有 B 站下载** 抛 `TypeError: ... got an unexpected keyword argument 'fatal'`。 - 测试：新增 `test_youtube_metadata_only.py` 覆盖上面两条 YouTube 保证； `test_bilibili_dm_patch.py` 新增未知 kwargs 透传用例，并让 fake 响应带上 `code` 字段（yt-dlp 2026.x 会先校验信封再返回 data）。 ## 验证 - 真实跑通：YouTube（有字幕，走元信息路径）与 B 站（无字幕，走完整下载 + 转写）均能生成笔记。 - `pytest tests/` → 46 passed。唯一失败的 `test_task_serial_executor` 在升级前后表现一致，与本次改动无关，未作改动。	2026-07-25 07:37:10 -05:00
huangjianwuandClaude Opus 4.8	f79dc612fb	fix(bilibili): 注入 dm_img 风控参数修复 wbi/playurl 412 B 站 wbi/playurl 网关新增 dm_img_list/dm_img_str/dm_cover_img_str/ dm_img_inter + web_location 风控校验,缺失即返回 HTTP 412。对于网页不内嵌 playinfo、必须走 API 的视频(如 BV1X9L16oEgB),yt-dlp(含最新版)尚未适配, 导致下载失败,且刷新 cookie 无效。通过猴补丁在 BilibiliBaseIE._download_playinfo 的 wbi 签名前注入哑值 dm_img 参数(取值形态对齐 yt-dlp 自身在 arc/search 端点的用法),即可恢复 200。已验证补丁对固定版 2025.03.31 与最新 2026.06.09 签名一致、向前兼容;新增 4 个单元测试。 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>	2026-06-17 09:55:54 +08:00

Author

SHA1

Message

Date

pumpkinperson996

3e579b1434

fix(youtube): 修复 YouTube 笔记生成失败 "Requested format is not available"

## 问题

输入 YouTube 链接生成笔记时任务必定失败：

    ERROR: [youtube] <id>: Requested format is not available

即使字幕已经抓取成功（日志里能看到"成功获取 YouTube 字幕，共 N 段"），
任务仍然在下载阶段崩掉。

## 原因

两个独立的问题叠加：

1. `requirements.txt` 把 yt-dlp 钉在 `2025.3.31`。YouTube 之后轮换过
   player，旧版 yt-dlp 解不出 nsig 签名，所有音视频格式都被丢弃，只剩下
   storyboard 图片（日志：`Only images are available for download`），
   格式选择随即抛错。

2. 有字幕时 `NoteGenerator` 走的是"只取元信息"的路径
   （`download(skip_download=True)`，只要 title/duration/cover），但
   `YoutubeDownloader.download` 无条件设置了
   `format='bestaudio[ext=m4a]/bestaudio/best'`。于是一个根本不需要媒体流的
   调用，也会因为选不出格式而失败——把一个字幕已经到手的任务整个带崩。

## 改动

- `youtube_downloader.py`：`skip_download` 时设置
  `ignore_no_formats_error=True`。yt-dlp 落后于 YouTube 时，只取元信息的路径
  降级为"没有音频"，而不是让整个笔记失败。
- `youtube_downloader.py`：`ext = info.get("ext") or "m4a"`。跳过下载时
  yt-dlp 返回 `ext=None`，`dict.get` 的默认值对显式 None 不生效，
  会拼出 `xxx.None` 这样的路径。
- `requirements.txt`：`yt-dlp==2025.3.31` → `>=2026.7.4`。yt-dlp 是对抗
  YouTube 变化的滚动依赖，精确钉版本本身就是这个 bug 的成因；用 `>=` 与同文件
  的 `youtube-transcript-api>=1.0.0` 保持一致。
- `bilibili_dm_patch.py`：wrapper 改为透传 `**kwargs`。升级 yt-dlp 后
  `_real_extract` 会以 `fatal=False` 调用 `_download_playinfo`，而 wrapper
  钉死了签名，导致 **所有 B 站下载** 抛
  `TypeError: ... got an unexpected keyword argument 'fatal'`。
- 测试：新增 `test_youtube_metadata_only.py` 覆盖上面两条 YouTube 保证；
  `test_bilibili_dm_patch.py` 新增未知 kwargs 透传用例，并让 fake 响应带上
  `code` 字段（yt-dlp 2026.x 会先校验信封再返回 data）。

## 验证

- 真实跑通：YouTube（有字幕，走元信息路径）与 B 站（无字幕，走完整下载 +
  转写）均能生成笔记。
- `pytest tests/` → 46 passed。唯一失败的
  `test_task_serial_executor` 在升级前后表现一致，与本次改动无关，未作改动。

2026-07-25 07:37:10 -05:00

huangjianwuandClaude Opus 4.8

f79dc612fb

fix(bilibili): 注入 dm_img 风控参数修复 wbi/playurl 412

B 站 wbi/playurl 网关新增 dm_img_list/dm_img_str/dm_cover_img_str/
dm_img_inter + web_location 风控校验,缺失即返回 HTTP 412。对于网页不内嵌
playinfo、必须走 API 的视频(如 BV1X9L16oEgB),yt-dlp(含最新版)尚未适配,
导致下载失败,且刷新 cookie 无效。

通过猴补丁在 BilibiliBaseIE._download_playinfo 的 wbi 签名前注入哑值 dm_img
参数(取值形态对齐 yt-dlp 自身在 arc/search 端点的用法),即可恢复 200。
已验证补丁对固定版 2025.03.31 与最新 2026.06.09 签名一致、向前兼容;新增 4 个单元测试。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

2026-06-17 09:55:54 +08:00