GithubBackup/BiliNote
1
0
Fork 0
mirror of https://github.com/JefferyHcool/BiliNote.git synced 2026-05-12 11:30:44 +08:00
Code Issues Packages Projects Releases Wiki Activity
388 Commits 4 Branches 15 Tags
26e23d0f2c7ec5bd53746e9e442d45a7b5dec07f
Commit Graph

108 Commits

Author SHA1 Message Date
voidborne-d
3ff7086491 fix(backend): UniversalGPT.create_messages emit string content when no images 
DeepSeek deepseek-chat 等非多模态模型只接受 ``content`` 为字符串。旧实现在
没有 ``video_img_urls`` 输入时也把 ``content`` 拼成
``[{"type":"text","text":...}]`` 多模态数组，导致 DeepSeek API 返回
``Failed to deserialize the JSON body into the target type: messages[0]:
unknown variant `image_url`, expected `text```，整个笔记生成流程随之崩溃。

修复方式：``create_messages`` 在没有截图时退回 string content；有截图时维持
原多模态数组形态，多模态模型功能不退化。同时把 ``_build_merge_messages`` 也
改为 string content —— 合并阶段从不带图片，旧的数组形态会让长视频 chunk
之后的合并阶段同样命中 DeepSeek 400。

新增 ``backend/tests/test_universal_gpt_content_format.py`` (6 cases)：

- 无图片 / 显式空 image 列表都走 string content
- 有图片仍输出多模态数组（含 ``image_url`` + ``detail: auto``）
- 纯文本响应里完全不含 ``image_url`` 字段
- ``_build_merge_messages`` 用 string content + 仍带入 partials 文本

红基线：在不打补丁的 ``universal_gpt.py`` 上跑这 6 个 case，3 个 string-
content 断言会失败（命中 issue #282 的同一根因），打补丁后 6/6 通过。

Closes #282
 2026-05-07 13:50:59 +08:00
huangjianwu
406789f834 feat(extension+backend): 插件直接在浏览器里抓 B 站字幕，跳过后端 download_subtitles 
之前 B 站字幕优先逻辑放在后端的 BilibiliSubtitleFetcher，需要后端通过 CookieConfigManager
管理 SESSDATA cookie 才能拿 AI 字幕。这次改为：插件在用户浏览器里直接抓字幕，
天然带着用户当前登录态的 cookie；后端只负责把传过来的字幕当作转写缓存。

extension：
- 新增 logic/bilibili-subtitle.ts，调 /x/web-interface/view → /x/player/wbi/v2 → 字幕 URL JSON
  · service worker fetch 走 credentials:'include'，借 manifest host_permissions:'*://*/*'
    自动带 .bilibili.com 域 cookie，并绕过 CORS
  · 优先级：人工中文 > AI 中文 > 任意非空
- popup start() 与 background startTask() 在 platform === 'bilibili' 时先调一次抓取，
  结果作为 prefetched_transcript 字段塞到 /api/generate_note payload
- types.ts GenerateRequest 增加 prefetched_transcript 字段

backend：
- VideoRequest 增加可选 prefetched_transcript: dict
- generate_note endpoint 收到时调 _persist_prefetched_transcript() 写到
  NOTE_OUTPUT_DIR/<task_id>_transcript.json；NoteGenerator 的 cache-hit 逻辑天然命中，
  跳过 downloader.download_subtitles 和音频转写，直接走 GPT 总结
- 字幕清洗：去掉空 segment、必要时合成 full_text、language 默认 'zh'

效果：B 站登录用户的视频，从用户点击到 GPT 拿到全文，省掉一次后端 → B 站 API 的来回，
也彻底告别了 backend 那侧的 cookie 配置心智负担。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 12:23:16 +08:00
huangjianwu
be5e1637fa fix(mlx-whisper): 修正 huggingface 仓库 ID 命名 
mlx-community 上 Whisper 仓库的命名实际是 'whisper-{size}-mlx'（large-v3-turbo 例外，无 -mlx 后缀）。
之前 hardcode 拼成 'mlx-community/whisper-{size}' 在 HF 上不存在，下载会 404：

  Repository Not Found for url:
    https://huggingface.co/api/models/mlx-community/whisper-small/revision/main.

修复：
- 在 mlx_whisper_transcriber.py 加 MLX_MODEL_MAP（已用 huggingface API 核对过命名）+ resolve_mlx_repo_id() 帮助函数
- routers/config.py 的 _do_download_mlx_whisper 与 _check ... 路径生成都改用同一份映射表
- 给 transcriber_models_status 的每条 mlx 状态加 available 字段，避免后续若有不支持的 size 时静默失败

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 11:59:02 +08:00
huangjianwu
702b57c165 feat(bilibili): 优先走官方 player API 直拉字幕 
之前 BilibiliDownloader.download_subtitles 走的是 yt-dlp 的 writesubtitles 路径，对 B 站签名/Cookie 的兼容性差，常常空手而归，落到音频下载 + Whisper 转写的慢路径。

新增 bilibili_subtitle.BilibiliSubtitleFetcher：
- /x/web-interface/view?bvid=... → 拿 cid
- /x/player/wbi/v2?bvid=...&cid=... → 拿 subtitle 列表（subtitle_url 已带 auth_key）
- 优先级：人工中文 > AI 中文 > 任意中文 > 任意非空
- fetch JSON body 解析为 TranscriptResult
- 通过 CookieConfigManager 自动注入 SESSDATA cookie（AI 字幕必需）

bilibili_downloader.download_subtitles 顺序改为：先试新 fetcher，失败再回退到原 yt-dlp 路径。NoteGenerator 的字幕优先逻辑无需改动——它本来就调 download_subtitles。

效果：
- B 站视频如果有字幕（人工或 AI），直接秒拿，跳过音频下载 + 转写
- 完全绕开 MLX Whisper 不可用 / 模型未下载 等转写器问题
- 拿不到字幕时仍可走原音频转写路径

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 11:55:50 +08:00
huangjianwu
b8f359e7e7 feat(extension): 浏览器插件 P1 MVP 
新建 BillNote_extension/ 工作空间（基于 vitesse-webext 骨架，Vue 3 + Vite + UnoCSS + MV3）。

P1 MVP 范围：
- popup：自动读当前 tab URL，识别 Bilibili / YouTube / 抖音 / 快手；提交 /generate_note 后轮询 /task_status；展示 markdown，复制 + 下载 .md
- options：后端地址输入与连通性测试；从 /get_all_providers + /get_models_by_provider 拉供应商/模型列表；默认画质、截图/跳转、笔记风格
- chrome.storage.local 持久化设置与最近 30 个任务，popup 重开恢复进行中任务
- markdown 里的 /static/screenshots 路径在渲染前重写为绝对地址

后端：CORS 改用 regex，新增允许 chrome-extension:// 与 moz-extension:// 源（同时保留 localhost / 127.0.0.1 / tauri.localhost）。无新增 backend endpoint。

P2-P4（content script 悬浮按钮、cookie 直通、side panel、思维导图、RAG 问答）保留 stub 文件，不在本次范围。

去掉 vitesse-webext 自带的 simple-git-hooks postinstall 配置——它会在仓库根装 pre-commit 钩子去跑 pnpm lint-staged，但仓库根没有 package.json，会破坏所有提交流。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 11:40:15 +08:00
huangjianwu
108ad270bf fix: 修复 AILogo 噪音、设置页滚动与供应商批量伪内置脏数据 
- AILogo: `custom` 名称为合法兜底场景，不再以 console.error 上报；其余未匹配名称降级为 console.warn
- SettingPage/Model: 双栏加 `min-h-0 overflow-y-auto`，让供应商列表与右侧表单各自可滚动
- ProviderService.add_provider: API 创建一律落到 `type='custom'`，并对同名供应商抛 ValueError，避免再产生伪内置行
- CLAUDE.md: 补充 v2.0.0 子系统（RAG/Chat、可选 Nacos+RabbitMQ、i18n、cookie/transcriber 管理器）

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 11:10:15 +08:00
Jianwu Huang
e3134f2078 Merge pull request #333 from Lizhilin/fix/bilibili-cookie-injection 2026-05-05 14:32:32 +08:00
liang09255
c9ab763f1b fix(frontend): 修复供应商开关切换不能实时生效的问题 2026-05-02 21:51:33 +08:00
Lizhilin
c5e08e1ec6 fix: BilibiliDownloader 从 CookieConfigManager 读取 cookie 并注入 yt-dlp cookiefile 2026-04-28 23:20:34 +08:00
Jianwu Huang
90aeb22853 Merge pull request #302 from JefferyHcool/feature/optimize-build 
feat(build): 全面优化打包流程，Docker 镜像自动发布到 GHCR
 2026-03-23 17:49:25 +08:00
huangjianwu
f6a3438079 feat(build): 全面优化打包流程，Docker 镜像自动发布到 GHCR 
Docker 优化：
- Dockerfile 层缓存（requirements/lockfile 先复制再安装）
- ARG 可配置镜像源，国际用户可覆盖为默认源
- 前端 Dockerfile 改用 corepack + frozen-lockfile
- 精简 .dockerignore，排除 .git 和 Tauri 构建产物

CI/CD 优化：
- docker-build 自动推送到 GHCR，支持 amd64/arm64 双架构
- 桌面端 CI 增加 pip/pnpm/cargo 缓存，升级 actions 版本
- Python 版本对齐为 3.11，增加 Linux 构建矩阵
- build.sh 加 -y 覆盖标志

文档更新：
- README Docker 部署简化为 docker pull + docker run

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 17:48:34 +08:00
huangjianwu
f4801d5be7 feat(youtube): 使用 youtube-transcript-api 优先获取字幕，有字幕时跳过音频下载 
- 新增 YouTubeSubtitleFetcher 模块，通过 youtube-transcript-api 获取字幕
- 重构笔记生成流程：缓存 → 平台字幕 → 按需下载 → 转写 fallback
- 有字幕时仅提取视频元信息，不下载音视频文件
- 添加 youtube-transcript-api 依赖

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 17:31:30 +08:00
Jianwu Huang
a2ab457f75 Merge pull request #299 from JefferyHcool/feature/note-qa-chat-optimize 
Feature/note qa chat optimize
 2026-03-23 16:00:15 +08:00
huangjianwu
05877a2197 feat(chat): 支持 function calling，模型可主动查询原文数据 
新增三个工具供 LLM 调用：
- lookup_transcript: 查询转录原文（按时间范围、关键词、位置筛选）
- get_video_info: 获取视频元信息（标题、作者、简介、标签等）
- get_note_content: 获取完整笔记 Markdown 内容

实现 tool calling 循环（最多 3 轮），LLM 可根据问题
主动调用工具获取所需信息，不再完全依赖 RAG 检索。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 15:48:23 +08:00
huangjianwu
3e9f908d7b fix(chat): 按固定配额检索，确保三种来源均被召回 
之前各来源各取 n_results 条再按距离排序取 top-n，
markdown 距离普遍更近导致 transcript 被挤掉。
改为固定配额：meta 1 条、markdown 2 条、transcript 3 条。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 15:44:25 +08:00
huangjianwu
8a8e448e22 feat(chat): 索引视频元信息（标题、作者、简介、标签等） 
- 新增 _build_meta_chunk，将 audio_meta 中的标题、UP主、
  简介、标签、时长、平台、链接等构建为可检索的 chunk
- query 时同时从 meta/markdown/transcript 三种来源检索
- is_indexed 检测旧索引缺少 meta 时返回 false，自动触发重建
- system prompt 新增 [视频信息] 来源说明

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 15:41:07 +08:00
huangjianwu
a92c779dd6 fix(chat): RAG 检索同时召回笔记和转录内容 
之前 query 只做一次全局检索，embedding 模型倾向匹配笔记，
导致转录原文几乎不会被召回。

- 改为分别对 markdown 和 transcript 各检索 n_results 条，
  合并后按距离排序取 top-n
- 更新 system prompt，明确区分笔记和转录两种来源，
  引导 LLM 根据问题类型选择合适的来源回答

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 15:35:31 +08:00
huangjianwu
2f2eb646a4 fix(chat): 索引改为后台异步执行，前端轮询状态并展示进度提示 
后端：
- /chat/index 改为 BackgroundTasks 异步执行，立即返回
- /chat/status 返回细粒度状态（idle/indexing/indexed/failed）
- 内存追踪索引进度，避免重复触发

前端：
- ChatPanel 每 2 秒轮询索引状态，索引完成后自动停止
- 索引中显示"正在索引笔记内容..."及首次下载模型提示
- 索引失败显示重试按钮

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 14:46:37 +08:00
huangjianwu
fdc888512a fix(chat): 修复 ChromaDB 1.x 兼容性问题导致索引失败 
- ChromaDB 1.x delete/get 不存在的 collection 抛 NotFoundError
  而非 ValueError，统一改为 except Exception
- 简化 _collection_name，UUID 格式本身就是合法的 collection name
- requirements.txt 放宽 chromadb 版本约束

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 14:43:57 +08:00
huangjianwu
efadbc267d feat(chat): 基于 RAG 的笔记内容 AI 问答功能 
实现类似 Google NotebookLM 的效果：笔记生成后自动向量化，
用户可针对笔记内容进行 LLM 问答。

### 后端
- 新增 VectorStoreManager（ChromaDB），按标题/转录分块建立向量索引
- 新增 chat_service.py RAG 问答：检索相关片段 → 构建 prompt → 调用 LLM
- 新增 /chat/index, /chat/ask, /chat/status API 端点
- 笔记生成完成后自动建立向量索引

### 前端
- 使用 @ant-design/x Bubble.List + Sender 组件构建聊天面板
- 新增 chatStore（Zustand + persist）持久化聊天记录
- MarkdownViewer 右侧嵌入 ChatPanel，通过"AI 问答"按钮切换
- 首次打开自动检查/触发索引，支持重新索引

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 14:38:39 +08:00
huangjianwu
c105342ded fix: 性能优化、前端转写器配置、任务进度丢失及 MLX Whisper 回退问题修复 
### 性能优化
- 后端任务执行从串行锁改为 ThreadPoolExecutor 并发执行（默认3线程）
- 添加 GZipMiddleware 响应压缩 + Nginx gzip 配置
- 数据库连接池参数优化（pool_size=10, max_overflow=20）
- 视频帧提取并行化（ThreadPoolExecutor）
- LLM 重试配置缓存到实例，避免每次请求读 env var
- 前端路由级代码拆分（React.lazy + Suspense）
- Vite manualChunks 拆分 markdown/markmap/vendor
- MarkdownViewer 用 React.memo + useMemo 减少不必要渲染
- NoteHistory Fuse.js 实例 useMemo 缓存
- useTaskPolling 无待处理任务时跳过轮询
- 移除 antd 依赖（NoteForm Alert、modelForm Tag），改用 shadcn/ui

### 前端转写器配置（新功能）
- 新增 TranscriberConfigManager（JSON 文件存储，替代环境变量）
- 新增 GET/POST /transcriber_config API 端点
- 新增 GET /transcriber_models_status 模型下载状态查询
- 新增 POST /transcriber_download 后台模型下载触发
- 前端转写器设置页面：引擎选择、模型大小选择、模型下载管理
- deploy_status 端点同步从配置文件读取

### Bug 修复
- 修复任务进行中切换页面后进度丢失：Home.tsx status 派生逻辑补全中间状态
- 修复 MLX Whisper 静默回退 fast-whisper：移除环境变量门控，macOS 下自动尝试导入
- MLX Whisper 不可用时抛出 RuntimeError 而非静默回退
- 前端展示 MLX Whisper 可用性状态，不可用时禁用保存

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 14:09:34 +08:00
huangjianwu
1cd8c33983 feat(note): 在笔记开头添加来源链接功能 2026-03-23 13:18:40 +08:00
Jianwu Huang
15d851f0d0 Merge branch 'master' into master 2026-03-20 16:50:43 +08:00
Jianwu Huang
8172e64510 Merge pull request #275 from sibuchen/feature/deployment-monitor-clean 
feat: 新增部署监控页面 (Deployment Monitor)
 2026-03-20 16:49:46 +08:00
wanderer99176
7fb4fcba77 fix: update bilibili timestamp link format to - [MM:SS](URL#t=MM:SS) 2026-02-25 11:57:16 +08:00
CyanAutumn
d9a7b89e7d 🐞 fix: 增加错误之后对已解析段落的缓存功能,再次重试时不再重头开始 
解析长视频时,当附件大小过大时不再调用后进行报错,而是将附件进行分批次发送

在每篇笔记开头默认增加地址来源链接,对模糊处可溯源
 2026-02-12 18:28:11 +08:00
sibuchen
8cd8c6f7b4 feat: add deployment monitor page 
- Add /deploy_status API endpoint for system status check
- Create Monitor.tsx component with real-time status display
- Support CUDA, FFmpeg, Whisper model status monitoring
- Auto-refresh every 30 seconds with manual refresh option
 2026-02-06 16:15:11 +08:00
Jianwu Huang
a5f0211fcb Merge pull request #262 from Sjshi763/Sjshi763/issue232 
[BUG] 已经把ffmpeg加入到系统变量path了 还是检测不出来 ?
 2026-02-05 16:05:03 +08:00
Jianwu Huang
658d29e72f Merge pull request #268 from nbzcy/feature/subtitle-priority-and-export-enhancements 
feat: Add subtitle priority fetching and enhance mindmap export
 2026-02-05 16:04:38 +08:00
xuerk
caa4619aab 修复哔哩哔哩视频原片url问题 2026-02-05 15:41:04 +08:00
sunnyclubcn
85b24dee40 feat: Add subtitle priority fetching and enhance mindmap export 
## Subtitle Priority (Backend)
- Add download_subtitles() method to base downloader
- Implement Bilibili subtitle fetching with cookies support
- Implement YouTube subtitle fetching
- Support SRT and JSON3 format parsing
- Prioritize platform subtitles over Whisper transcription

## Mindmap Export Enhancements (Frontend)
- Add SVG vector export with proper viewBox handling
- Add XMind format export with Chinese character encoding fix
- Fix PNG/SVG export to capture full content by calling fit() before export
- Add JSZip dependency for XMind export

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2026-01-24 17:12:14 +08:00
Sjshi763
844e1a102a [BUG] 已经把ffmpeg加入到系统变量path了 还是检测不出来 ? 
Fixes #232
 2026-01-03 14:57:42 +08:00
Paper-Dragon
dc29319a3e Refine form validation and update Docker configuration 2025-07-09 13:34:26 +08:00
Paper-Dragon
1ce8b41bde Add GPU support with Docker enhancements 
- Introduced a `Dockerfile.gpu` for GPU-enabled backend setup.
- Added `docker-compose.gpu.yml` to utilize GPU resources via NVIDIA.
- Fixed Nginx configuration for GPU backend port changes.
 2025-07-04 00:16:39 +08:00
Jianwu Huang
f667e9460b fix:修复 cpu 核心锁死问题 
fix cpu 核心锁死问题
 2025-07-03 10:28:33 +08:00
Karasukaigan
b813d83246 fix: 修复B站短链接无法解析的问题 
增加了对b23.tv短链接的解析。
 2025-07-02 15:03:03 +08:00
JefferyHcool
e40c97b3fd fix：修复windows 日志格式问题 2025-06-23 09:18:31 +08:00
JefferyHcool
ef4e67eda6 build:完成打包功能 2025-06-20 14:45:49 +08:00
JefferyHcool
50bf467341 refactor(backend): 修改系统初始化和健康检查相关逻辑 
- 更新 BackendInitDialog 组件中的提示信息，增加报错提示
- 在 config 路由中添加 sys_check 接口，用于系统检查
- 修改 useCheckBackend钩子，使用新的 sys_check接口进行系统检查
 2025-06-20 13:44:48 +08:00
JefferyHcool
f23ed6ec6c feat(system): 添加后端初始化和健康检查功能 
- 新增后端初始化对话框组件
- 实现后端健康检查和初始化逻辑
- 在 App 组件中集成后端初始化和健康检查
- 新增系统健康检查 API 和相关服务
 2025-06-20 13:05:42 +08:00
JefferyHcool
467deefd28 build:完成打包功能 2025-06-20 12:03:10 +08:00
JefferyHcool
601bd7c4e3 refactor: 修复 build.bat脚本中的路径问题 
- 修改了 .env 文件复制和删除操作的路径，使用反斜杠 (\) 替代斜杠 (/)
- 这个改动解决了 Windows 系统上路径解析的问题，确保脚本能够正确执行
 2025-06-20 09:46:12 +08:00
JefferyHcool
6d06cb662d build(tauri): 更新后端端口并优化打包流程 
- 将后端端口从8000 修改为 8483
- 更新前端请求基础 URL 以匹配新的后端端口
- 优化后端打包脚本，确保 .env 文件正确复制和清理
- 修改后端主程序和请求工具中的端口配置
 2025-06-20 09:39:45 +08:00
JefferyHcool
c24fcc6d7d build(tauri): 更新后端端口并优化打包流程 
- 将后端端口从8000 修改为 8483
- 更新前端请求基础 URL 以匹配新的后端端口
- 优化后端打包脚本，确保 .env 文件正确复制和清理
- 修改后端主程序和请求工具中的端口配置
 2025-06-20 09:35:34 +08:00
JefferyHcool
29372bab6b ci/cd:修复win打包 2025-06-19 18:21:13 +08:00
JefferyHcool
2a510e8059 fix：修复bugs 2025-06-19 18:04:37 +08:00
JefferyHcool
0aaec4a53f fix：修复bugs 2025-06-19 17:44:48 +08:00
JefferyHcool
02d2b6d983 fix：修复bugs 2025-06-19 17:00:42 +08:00
JefferyHcool
3b3e6b86f3 chore:打包测试 2025-06-19 16:20:32 +08:00
JefferyHcool
d92cc4a977 feat(NoteForm): 增加文件上传状态反馈 2025-06-19 14:54:51 +08:00