GithubBackup/BiliNote
1
0
Fork 0
mirror of https://github.com/JefferyHcool/BiliNote.git synced 2026-05-12 02:20:18 +08:00
Code Issues Packages Projects Releases Wiki Activity
388 Commits 4 Branches 15 Tags
26e23d0f2c7ec5bd53746e9e442d45a7b5dec07f
Commit Graph

87 Commits

Author SHA1 Message Date
voidborne-d
3ff7086491 fix(backend): UniversalGPT.create_messages emit string content when no images 
DeepSeek deepseek-chat 等非多模态模型只接受 ``content`` 为字符串。旧实现在
没有 ``video_img_urls`` 输入时也把 ``content`` 拼成
``[{"type":"text","text":...}]`` 多模态数组，导致 DeepSeek API 返回
``Failed to deserialize the JSON body into the target type: messages[0]:
unknown variant `image_url`, expected `text```，整个笔记生成流程随之崩溃。

修复方式：``create_messages`` 在没有截图时退回 string content；有截图时维持
原多模态数组形态，多模态模型功能不退化。同时把 ``_build_merge_messages`` 也
改为 string content —— 合并阶段从不带图片，旧的数组形态会让长视频 chunk
之后的合并阶段同样命中 DeepSeek 400。

新增 ``backend/tests/test_universal_gpt_content_format.py`` (6 cases)：

- 无图片 / 显式空 image 列表都走 string content
- 有图片仍输出多模态数组（含 ``image_url`` + ``detail: auto``）
- 纯文本响应里完全不含 ``image_url`` 字段
- ``_build_merge_messages`` 用 string content + 仍带入 partials 文本

红基线：在不打补丁的 ``universal_gpt.py`` 上跑这 6 个 case，3 个 string-
content 断言会失败（命中 issue #282 的同一根因），打补丁后 6/6 通过。

Closes #282
 2026-05-07 13:50:59 +08:00
huangjianwu
406789f834 feat(extension+backend): 插件直接在浏览器里抓 B 站字幕，跳过后端 download_subtitles 
之前 B 站字幕优先逻辑放在后端的 BilibiliSubtitleFetcher，需要后端通过 CookieConfigManager
管理 SESSDATA cookie 才能拿 AI 字幕。这次改为：插件在用户浏览器里直接抓字幕，
天然带着用户当前登录态的 cookie；后端只负责把传过来的字幕当作转写缓存。

extension：
- 新增 logic/bilibili-subtitle.ts，调 /x/web-interface/view → /x/player/wbi/v2 → 字幕 URL JSON
  · service worker fetch 走 credentials:'include'，借 manifest host_permissions:'*://*/*'
    自动带 .bilibili.com 域 cookie，并绕过 CORS
  · 优先级：人工中文 > AI 中文 > 任意非空
- popup start() 与 background startTask() 在 platform === 'bilibili' 时先调一次抓取，
  结果作为 prefetched_transcript 字段塞到 /api/generate_note payload
- types.ts GenerateRequest 增加 prefetched_transcript 字段

backend：
- VideoRequest 增加可选 prefetched_transcript: dict
- generate_note endpoint 收到时调 _persist_prefetched_transcript() 写到
  NOTE_OUTPUT_DIR/<task_id>_transcript.json；NoteGenerator 的 cache-hit 逻辑天然命中，
  跳过 downloader.download_subtitles 和音频转写，直接走 GPT 总结
- 字幕清洗：去掉空 segment、必要时合成 full_text、language 默认 'zh'

效果：B 站登录用户的视频，从用户点击到 GPT 拿到全文，省掉一次后端 → B 站 API 的来回，
也彻底告别了 backend 那侧的 cookie 配置心智负担。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 12:23:16 +08:00
huangjianwu
be5e1637fa fix(mlx-whisper): 修正 huggingface 仓库 ID 命名 
mlx-community 上 Whisper 仓库的命名实际是 'whisper-{size}-mlx'（large-v3-turbo 例外，无 -mlx 后缀）。
之前 hardcode 拼成 'mlx-community/whisper-{size}' 在 HF 上不存在，下载会 404：

  Repository Not Found for url:
    https://huggingface.co/api/models/mlx-community/whisper-small/revision/main.

修复：
- 在 mlx_whisper_transcriber.py 加 MLX_MODEL_MAP（已用 huggingface API 核对过命名）+ resolve_mlx_repo_id() 帮助函数
- routers/config.py 的 _do_download_mlx_whisper 与 _check ... 路径生成都改用同一份映射表
- 给 transcriber_models_status 的每条 mlx 状态加 available 字段，避免后续若有不支持的 size 时静默失败

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 11:59:02 +08:00
huangjianwu
702b57c165 feat(bilibili): 优先走官方 player API 直拉字幕 
之前 BilibiliDownloader.download_subtitles 走的是 yt-dlp 的 writesubtitles 路径，对 B 站签名/Cookie 的兼容性差，常常空手而归，落到音频下载 + Whisper 转写的慢路径。

新增 bilibili_subtitle.BilibiliSubtitleFetcher：
- /x/web-interface/view?bvid=... → 拿 cid
- /x/player/wbi/v2?bvid=...&cid=... → 拿 subtitle 列表（subtitle_url 已带 auth_key）
- 优先级：人工中文 > AI 中文 > 任意中文 > 任意非空
- fetch JSON body 解析为 TranscriptResult
- 通过 CookieConfigManager 自动注入 SESSDATA cookie（AI 字幕必需）

bilibili_downloader.download_subtitles 顺序改为：先试新 fetcher，失败再回退到原 yt-dlp 路径。NoteGenerator 的字幕优先逻辑无需改动——它本来就调 download_subtitles。

效果：
- B 站视频如果有字幕（人工或 AI），直接秒拿，跳过音频下载 + 转写
- 完全绕开 MLX Whisper 不可用 / 模型未下载 等转写器问题
- 拿不到字幕时仍可走原音频转写路径

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 11:55:50 +08:00
huangjianwu
108ad270bf fix: 修复 AILogo 噪音、设置页滚动与供应商批量伪内置脏数据 
- AILogo: `custom` 名称为合法兜底场景，不再以 console.error 上报；其余未匹配名称降级为 console.warn
- SettingPage/Model: 双栏加 `min-h-0 overflow-y-auto`，让供应商列表与右侧表单各自可滚动
- ProviderService.add_provider: API 创建一律落到 `type='custom'`，并对同名供应商抛 ValueError，避免再产生伪内置行
- CLAUDE.md: 补充 v2.0.0 子系统（RAG/Chat、可选 Nacos+RabbitMQ、i18n、cookie/transcriber 管理器）

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 11:10:15 +08:00
Jianwu Huang
e3134f2078 Merge pull request #333 from Lizhilin/fix/bilibili-cookie-injection 2026-05-05 14:32:32 +08:00
liang09255
c9ab763f1b fix(frontend): 修复供应商开关切换不能实时生效的问题 2026-05-02 21:51:33 +08:00
Lizhilin
c5e08e1ec6 fix: BilibiliDownloader 从 CookieConfigManager 读取 cookie 并注入 yt-dlp cookiefile 2026-04-28 23:20:34 +08:00
huangjianwu
f4801d5be7 feat(youtube): 使用 youtube-transcript-api 优先获取字幕，有字幕时跳过音频下载 
- 新增 YouTubeSubtitleFetcher 模块，通过 youtube-transcript-api 获取字幕
- 重构笔记生成流程：缓存 → 平台字幕 → 按需下载 → 转写 fallback
- 有字幕时仅提取视频元信息，不下载音视频文件
- 添加 youtube-transcript-api 依赖

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 17:31:30 +08:00
Jianwu Huang
a2ab457f75 Merge pull request #299 from JefferyHcool/feature/note-qa-chat-optimize 
Feature/note qa chat optimize
 2026-03-23 16:00:15 +08:00
huangjianwu
05877a2197 feat(chat): 支持 function calling，模型可主动查询原文数据 
新增三个工具供 LLM 调用：
- lookup_transcript: 查询转录原文（按时间范围、关键词、位置筛选）
- get_video_info: 获取视频元信息（标题、作者、简介、标签等）
- get_note_content: 获取完整笔记 Markdown 内容

实现 tool calling 循环（最多 3 轮），LLM 可根据问题
主动调用工具获取所需信息，不再完全依赖 RAG 检索。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 15:48:23 +08:00
huangjianwu
3e9f908d7b fix(chat): 按固定配额检索，确保三种来源均被召回 
之前各来源各取 n_results 条再按距离排序取 top-n，
markdown 距离普遍更近导致 transcript 被挤掉。
改为固定配额：meta 1 条、markdown 2 条、transcript 3 条。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 15:44:25 +08:00
huangjianwu
8a8e448e22 feat(chat): 索引视频元信息（标题、作者、简介、标签等） 
- 新增 _build_meta_chunk，将 audio_meta 中的标题、UP主、
  简介、标签、时长、平台、链接等构建为可检索的 chunk
- query 时同时从 meta/markdown/transcript 三种来源检索
- is_indexed 检测旧索引缺少 meta 时返回 false，自动触发重建
- system prompt 新增 [视频信息] 来源说明

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 15:41:07 +08:00
huangjianwu
a92c779dd6 fix(chat): RAG 检索同时召回笔记和转录内容 
之前 query 只做一次全局检索，embedding 模型倾向匹配笔记，
导致转录原文几乎不会被召回。

- 改为分别对 markdown 和 transcript 各检索 n_results 条，
  合并后按距离排序取 top-n
- 更新 system prompt，明确区分笔记和转录两种来源，
  引导 LLM 根据问题类型选择合适的来源回答

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 15:35:31 +08:00
huangjianwu
2f2eb646a4 fix(chat): 索引改为后台异步执行，前端轮询状态并展示进度提示 
后端：
- /chat/index 改为 BackgroundTasks 异步执行，立即返回
- /chat/status 返回细粒度状态（idle/indexing/indexed/failed）
- 内存追踪索引进度，避免重复触发

前端：
- ChatPanel 每 2 秒轮询索引状态，索引完成后自动停止
- 索引中显示"正在索引笔记内容..."及首次下载模型提示
- 索引失败显示重试按钮

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 14:46:37 +08:00
huangjianwu
fdc888512a fix(chat): 修复 ChromaDB 1.x 兼容性问题导致索引失败 
- ChromaDB 1.x delete/get 不存在的 collection 抛 NotFoundError
  而非 ValueError，统一改为 except Exception
- 简化 _collection_name，UUID 格式本身就是合法的 collection name
- requirements.txt 放宽 chromadb 版本约束

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 14:43:57 +08:00
huangjianwu
efadbc267d feat(chat): 基于 RAG 的笔记内容 AI 问答功能 
实现类似 Google NotebookLM 的效果：笔记生成后自动向量化，
用户可针对笔记内容进行 LLM 问答。

### 后端
- 新增 VectorStoreManager（ChromaDB），按标题/转录分块建立向量索引
- 新增 chat_service.py RAG 问答：检索相关片段 → 构建 prompt → 调用 LLM
- 新增 /chat/index, /chat/ask, /chat/status API 端点
- 笔记生成完成后自动建立向量索引

### 前端
- 使用 @ant-design/x Bubble.List + Sender 组件构建聊天面板
- 新增 chatStore（Zustand + persist）持久化聊天记录
- MarkdownViewer 右侧嵌入 ChatPanel，通过"AI 问答"按钮切换
- 首次打开自动检查/触发索引，支持重新索引

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 14:38:39 +08:00
huangjianwu
c105342ded fix: 性能优化、前端转写器配置、任务进度丢失及 MLX Whisper 回退问题修复 
### 性能优化
- 后端任务执行从串行锁改为 ThreadPoolExecutor 并发执行（默认3线程）
- 添加 GZipMiddleware 响应压缩 + Nginx gzip 配置
- 数据库连接池参数优化（pool_size=10, max_overflow=20）
- 视频帧提取并行化（ThreadPoolExecutor）
- LLM 重试配置缓存到实例，避免每次请求读 env var
- 前端路由级代码拆分（React.lazy + Suspense）
- Vite manualChunks 拆分 markdown/markmap/vendor
- MarkdownViewer 用 React.memo + useMemo 减少不必要渲染
- NoteHistory Fuse.js 实例 useMemo 缓存
- useTaskPolling 无待处理任务时跳过轮询
- 移除 antd 依赖（NoteForm Alert、modelForm Tag），改用 shadcn/ui

### 前端转写器配置（新功能）
- 新增 TranscriberConfigManager（JSON 文件存储，替代环境变量）
- 新增 GET/POST /transcriber_config API 端点
- 新增 GET /transcriber_models_status 模型下载状态查询
- 新增 POST /transcriber_download 后台模型下载触发
- 前端转写器设置页面：引擎选择、模型大小选择、模型下载管理
- deploy_status 端点同步从配置文件读取

### Bug 修复
- 修复任务进行中切换页面后进度丢失：Home.tsx status 派生逻辑补全中间状态
- 修复 MLX Whisper 静默回退 fast-whisper：移除环境变量门控，macOS 下自动尝试导入
- MLX Whisper 不可用时抛出 RuntimeError 而非静默回退
- 前端展示 MLX Whisper 可用性状态，不可用时禁用保存

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 14:09:34 +08:00
huangjianwu
1cd8c33983 feat(note): 在笔记开头添加来源链接功能 2026-03-23 13:18:40 +08:00
Jianwu Huang
15d851f0d0 Merge branch 'master' into master 2026-03-20 16:50:43 +08:00
Jianwu Huang
8172e64510 Merge pull request #275 from sibuchen/feature/deployment-monitor-clean 
feat: 新增部署监控页面 (Deployment Monitor)
 2026-03-20 16:49:46 +08:00
wanderer99176
7fb4fcba77 fix: update bilibili timestamp link format to - [MM:SS](URL#t=MM:SS) 2026-02-25 11:57:16 +08:00
CyanAutumn
d9a7b89e7d 🐞 fix: 增加错误之后对已解析段落的缓存功能,再次重试时不再重头开始 
解析长视频时,当附件大小过大时不再调用后进行报错,而是将附件进行分批次发送

在每篇笔记开头默认增加地址来源链接,对模糊处可溯源
 2026-02-12 18:28:11 +08:00
sibuchen
8cd8c6f7b4 feat: add deployment monitor page 
- Add /deploy_status API endpoint for system status check
- Create Monitor.tsx component with real-time status display
- Support CUDA, FFmpeg, Whisper model status monitoring
- Auto-refresh every 30 seconds with manual refresh option
 2026-02-06 16:15:11 +08:00
Jianwu Huang
658d29e72f Merge pull request #268 from nbzcy/feature/subtitle-priority-and-export-enhancements 
feat: Add subtitle priority fetching and enhance mindmap export
 2026-02-05 16:04:38 +08:00
xuerk
caa4619aab 修复哔哩哔哩视频原片url问题 2026-02-05 15:41:04 +08:00
sunnyclubcn
85b24dee40 feat: Add subtitle priority fetching and enhance mindmap export 
## Subtitle Priority (Backend)
- Add download_subtitles() method to base downloader
- Implement Bilibili subtitle fetching with cookies support
- Implement YouTube subtitle fetching
- Support SRT and JSON3 format parsing
- Prioritize platform subtitles over Whisper transcription

## Mindmap Export Enhancements (Frontend)
- Add SVG vector export with proper viewBox handling
- Add XMind format export with Chinese character encoding fix
- Fix PNG/SVG export to capture full content by calling fit() before export
- Add JSZip dependency for XMind export

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2026-01-24 17:12:14 +08:00
Jianwu Huang
f667e9460b fix:修复 cpu 核心锁死问题 
fix cpu 核心锁死问题
 2025-07-03 10:28:33 +08:00
Karasukaigan
b813d83246 fix: 修复B站短链接无法解析的问题 
增加了对b23.tv短链接的解析。
 2025-07-02 15:03:03 +08:00
JefferyHcool
e40c97b3fd fix：修复windows 日志格式问题 2025-06-23 09:18:31 +08:00
JefferyHcool
50bf467341 refactor(backend): 修改系统初始化和健康检查相关逻辑 
- 更新 BackendInitDialog 组件中的提示信息，增加报错提示
- 在 config 路由中添加 sys_check 接口，用于系统检查
- 修改 useCheckBackend钩子，使用新的 sys_check接口进行系统检查
 2025-06-20 13:44:48 +08:00
JefferyHcool
f23ed6ec6c feat(system): 添加后端初始化和健康检查功能 
- 新增后端初始化对话框组件
- 实现后端健康检查和初始化逻辑
- 在 App 组件中集成后端初始化和健康检查
- 新增系统健康检查 API 和相关服务
 2025-06-20 13:05:42 +08:00
JefferyHcool
467deefd28 build:完成打包功能 2025-06-20 12:03:10 +08:00
JefferyHcool
6d06cb662d build(tauri): 更新后端端口并优化打包流程 
- 将后端端口从8000 修改为 8483
- 更新前端请求基础 URL 以匹配新的后端端口
- 优化后端打包脚本，确保 .env 文件正确复制和清理
- 修改后端主程序和请求工具中的端口配置
 2025-06-20 09:39:45 +08:00
JefferyHcool
c24fcc6d7d build(tauri): 更新后端端口并优化打包流程 
- 将后端端口从8000 修改为 8483
- 更新前端请求基础 URL 以匹配新的后端端口
- 优化后端打包脚本，确保 .env 文件正确复制和清理
- 修改后端主程序和请求工具中的端口配置
 2025-06-20 09:35:34 +08:00
JefferyHcool
d92cc4a977 feat(NoteForm): 增加文件上传状态反馈 2025-06-19 14:54:51 +08:00
JefferyHcool
f1cc79aab4 fix:修复bugs 2025-06-06 21:49:07 +08:00
Jianwu Huang
fff4fdc9c9 Merge pull request #126 from JefferyHcool/codex/查找并修复错误 
Fix duplicate handler registration
 2025-06-06 21:31:45 +08:00
JefferyHcool
8b1bc54f2d refactor(backend): 重构后端异常处理和模型管理 
- 新增自定义异常类 BizException、NoteError 和 ProviderError
- 优化了模型管理相关的逻辑，包括加载、删除和测试连接等功能
- 改进了 Douyin 下载器的错误处理
- 调整了任务重试逻辑和笔记生成的异常处理- 更新了相关组件和页面以适应新的异常处理机制
 2025-06-06 21:30:23 +08:00
Jianwu Huang
b965020491 Fix startup and GPT initialization issues 2025-06-04 09:37:21 +08:00
JefferyHcool
be3db5faaf feat(model): 增加模型管理和测试功能 
- 新增模型删除功能
- 实现模型测试连接功能
- 优化模型选择器组件
- 更新模型相关API和数据库操作
 2025-05-26 23:16:49 +08:00
JefferyHcool
9b298d3094 feat(model): 增加模型管理和测试功能 
- 新增模型删除功能
- 实现模型测试连接功能
- 优化模型选择器组件
- 更新模型相关API和数据库操作
 2025-05-26 23:16:19 +08:00
黄建武
aeae3410a0 feat(db): 添加 Ollama本地离线模型支持 
- 在 builtin_providers.json 中添加 Ollama 提供商配置
- 修改 OpenAI_compatible_provider.py，优化与 Ollama 的兼容性
 2025-05-14 15:28:57 +08:00
黄建武
6ff8b4d90f feat(backend): 添加 Groq供应商支持并优化笔记生成流程- 在 builtin_providers.json 中添加 Groq 供应商信息 
- 实现 GroqTranscriber 类以支持 Groq 语音转录服务
- 新增异常处理中间件以提高系统稳定性
- 优化笔记生成流程，增加错误处理和日志记录
- 添加思维导图功能和相关组件
-重构 Markdown 查看器以支持切换视图模式
 2025-05-12 14:59:06 +08:00
黄建武
b2034c0865 feat(db): 更新内置 AI 服务提供商配置 
- 移除Doubao 服务商配置- 添加 Gemini 服务商配置
- 更新 Claude 服务商的 base_url
 2025-05-12 09:05:53 +08:00
黄建武
1888849270 fix:修复视频生成错误 2025-05-09 15:38:31 +08:00
黄建武
048a3b70df refactor(app/utils): 更新 VideoReader 类的目录设置 
- 引入 get_app_dir 函数用于获取应用目录路径
- 修改 frame_dir 和 grid_dir 参数默认值为 None
- 在构造函数中使用 get_app_dir 设置默认目录路径
 2025-05-09 12:40:36 +08:00
黄建武
140c9b1d88 refactor(path_helper): 重构路径获取方法，支持打包运行 
- 修改 get_data_dir 函数，以支持打包后可写的运行目录- 新增 get_app_dir 函数，提供更灵活的路径获取方式
- 优化路径处理逻辑，确保在不同环境下都能正确获取路径
 2025-05-09 11:57:41 +08:00
黄建武
668785ebe5 refactor(path_helper): 重构路径获取方法，支持打包运行 
- 修改 get_data_dir 函数，以支持打包后可写的运行目录- 新增 get_app_dir 函数，提供更灵活的路径获取方式
- 优化路径处理逻辑，确保在不同环境下都能正确获取路径
 2025-05-09 11:57:11 +08:00
黄建武
2dfcb600ae refactor(backend): 更新默认提供商路径获取方法并配置前端请求基础 URL 
- 新增 get_builtin_providers_path 函数以动态获取内置提供商 JSON 文件路径
- 修改 seed_default_providers 函数，使用新的路径获取方法
- 更新前端请求工具，配置 API 基础 URL 以适应不同环境
 2025-05-09 10:41:46 +08:00