GithubBackup/BiliNote
1
0
Fork 0
mirror of https://github.com/JefferyHcool/BiliNote.git synced 2026-05-14 16:37:35 +08:00
Code Issues Packages Projects Releases Wiki Activity
421 Commits 4 Branches 15 Tags
c5900a9026a6fe7b58670e3fe8948bf9a6fff92b
Commit Graph

38 Commits

Author SHA1 Message Date
huangjianwu
721bda5280 feat(transcriber): 默认 size 改 tiny + 切本地引擎前 confirm 模型下载 
桌面端用户首次跑视频时挂在 fast-whisper 模型下载（默认 medium ~1.5GB），
两处改动：

1. backend/app/services/transcriber_config_manager.py:
   默认 whisper_model_size 从 'medium' (~1.5GB) → 'tiny' (~75MB)。
   新装用户没主动设置时不再被首次下载卡住；想要更高精度的用户去配置页主动切。

2. BillNote_frontend/src/pages/SettingPage/transcriber.tsx:
   handleSave 在保存前判断：选了 fast-whisper / mlx-whisper 且当前 size 在
   modelStatuses 里既未下载也不在下载中 → window.confirm 弹一个体积提示，
   推荐改用 Groq / 必剪 / 快手 等在线引擎；用户取消则不保存。

不改业务逻辑；零回归风险（已有用户 transcriber.json 里写了什么就还是什么）。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-09 14:32:41 +08:00
huangjianwu
108ad270bf fix: 修复 AILogo 噪音、设置页滚动与供应商批量伪内置脏数据 
- AILogo: `custom` 名称为合法兜底场景，不再以 console.error 上报；其余未匹配名称降级为 console.warn
- SettingPage/Model: 双栏加 `min-h-0 overflow-y-auto`，让供应商列表与右侧表单各自可滚动
- ProviderService.add_provider: API 创建一律落到 `type='custom'`，并对同名供应商抛 ValueError，避免再产生伪内置行
- CLAUDE.md: 补充 v2.0.0 子系统（RAG/Chat、可选 Nacos+RabbitMQ、i18n、cookie/transcriber 管理器）

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 11:10:15 +08:00
liang09255
c9ab763f1b fix(frontend): 修复供应商开关切换不能实时生效的问题 2026-05-02 21:51:33 +08:00
huangjianwu
f4801d5be7 feat(youtube): 使用 youtube-transcript-api 优先获取字幕，有字幕时跳过音频下载 
- 新增 YouTubeSubtitleFetcher 模块，通过 youtube-transcript-api 获取字幕
- 重构笔记生成流程：缓存 → 平台字幕 → 按需下载 → 转写 fallback
- 有字幕时仅提取视频元信息，不下载音视频文件
- 添加 youtube-transcript-api 依赖

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 17:31:30 +08:00
Jianwu Huang
a2ab457f75 Merge pull request #299 from JefferyHcool/feature/note-qa-chat-optimize 
Feature/note qa chat optimize
 2026-03-23 16:00:15 +08:00
huangjianwu
05877a2197 feat(chat): 支持 function calling，模型可主动查询原文数据 
新增三个工具供 LLM 调用：
- lookup_transcript: 查询转录原文（按时间范围、关键词、位置筛选）
- get_video_info: 获取视频元信息（标题、作者、简介、标签等）
- get_note_content: 获取完整笔记 Markdown 内容

实现 tool calling 循环（最多 3 轮），LLM 可根据问题
主动调用工具获取所需信息，不再完全依赖 RAG 检索。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 15:48:23 +08:00
huangjianwu
3e9f908d7b fix(chat): 按固定配额检索，确保三种来源均被召回 
之前各来源各取 n_results 条再按距离排序取 top-n，
markdown 距离普遍更近导致 transcript 被挤掉。
改为固定配额：meta 1 条、markdown 2 条、transcript 3 条。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 15:44:25 +08:00
huangjianwu
8a8e448e22 feat(chat): 索引视频元信息（标题、作者、简介、标签等） 
- 新增 _build_meta_chunk，将 audio_meta 中的标题、UP主、
  简介、标签、时长、平台、链接等构建为可检索的 chunk
- query 时同时从 meta/markdown/transcript 三种来源检索
- is_indexed 检测旧索引缺少 meta 时返回 false，自动触发重建
- system prompt 新增 [视频信息] 来源说明

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 15:41:07 +08:00
huangjianwu
a92c779dd6 fix(chat): RAG 检索同时召回笔记和转录内容 
之前 query 只做一次全局检索，embedding 模型倾向匹配笔记，
导致转录原文几乎不会被召回。

- 改为分别对 markdown 和 transcript 各检索 n_results 条，
  合并后按距离排序取 top-n
- 更新 system prompt，明确区分笔记和转录两种来源，
  引导 LLM 根据问题类型选择合适的来源回答

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 15:35:31 +08:00
huangjianwu
fdc888512a fix(chat): 修复 ChromaDB 1.x 兼容性问题导致索引失败 
- ChromaDB 1.x delete/get 不存在的 collection 抛 NotFoundError
  而非 ValueError，统一改为 except Exception
- 简化 _collection_name，UUID 格式本身就是合法的 collection name
- requirements.txt 放宽 chromadb 版本约束

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 14:43:57 +08:00
huangjianwu
efadbc267d feat(chat): 基于 RAG 的笔记内容 AI 问答功能 
实现类似 Google NotebookLM 的效果：笔记生成后自动向量化，
用户可针对笔记内容进行 LLM 问答。

### 后端
- 新增 VectorStoreManager（ChromaDB），按标题/转录分块建立向量索引
- 新增 chat_service.py RAG 问答：检索相关片段 → 构建 prompt → 调用 LLM
- 新增 /chat/index, /chat/ask, /chat/status API 端点
- 笔记生成完成后自动建立向量索引

### 前端
- 使用 @ant-design/x Bubble.List + Sender 组件构建聊天面板
- 新增 chatStore（Zustand + persist）持久化聊天记录
- MarkdownViewer 右侧嵌入 ChatPanel，通过"AI 问答"按钮切换
- 首次打开自动检查/触发索引，支持重新索引

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 14:38:39 +08:00
huangjianwu
c105342ded fix: 性能优化、前端转写器配置、任务进度丢失及 MLX Whisper 回退问题修复 
### 性能优化
- 后端任务执行从串行锁改为 ThreadPoolExecutor 并发执行（默认3线程）
- 添加 GZipMiddleware 响应压缩 + Nginx gzip 配置
- 数据库连接池参数优化（pool_size=10, max_overflow=20）
- 视频帧提取并行化（ThreadPoolExecutor）
- LLM 重试配置缓存到实例，避免每次请求读 env var
- 前端路由级代码拆分（React.lazy + Suspense）
- Vite manualChunks 拆分 markdown/markmap/vendor
- MarkdownViewer 用 React.memo + useMemo 减少不必要渲染
- NoteHistory Fuse.js 实例 useMemo 缓存
- useTaskPolling 无待处理任务时跳过轮询
- 移除 antd 依赖（NoteForm Alert、modelForm Tag），改用 shadcn/ui

### 前端转写器配置（新功能）
- 新增 TranscriberConfigManager（JSON 文件存储，替代环境变量）
- 新增 GET/POST /transcriber_config API 端点
- 新增 GET /transcriber_models_status 模型下载状态查询
- 新增 POST /transcriber_download 后台模型下载触发
- 前端转写器设置页面：引擎选择、模型大小选择、模型下载管理
- deploy_status 端点同步从配置文件读取

### Bug 修复
- 修复任务进行中切换页面后进度丢失：Home.tsx status 派生逻辑补全中间状态
- 修复 MLX Whisper 静默回退 fast-whisper：移除环境变量门控，macOS 下自动尝试导入
- MLX Whisper 不可用时抛出 RuntimeError 而非静默回退
- 前端展示 MLX Whisper 可用性状态，不可用时禁用保存

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-23 14:09:34 +08:00
CyanAutumn
d9a7b89e7d 🐞 fix: 增加错误之后对已解析段落的缓存功能,再次重试时不再重头开始 
解析长视频时,当附件大小过大时不再调用后进行报错,而是将附件进行分批次发送

在每篇笔记开头默认增加地址来源链接,对模糊处可溯源
 2026-02-12 18:28:11 +08:00
sunnyclubcn
85b24dee40 feat: Add subtitle priority fetching and enhance mindmap export 
## Subtitle Priority (Backend)
- Add download_subtitles() method to base downloader
- Implement Bilibili subtitle fetching with cookies support
- Implement YouTube subtitle fetching
- Support SRT and JSON3 format parsing
- Prioritize platform subtitles over Whisper transcription

## Mindmap Export Enhancements (Frontend)
- Add SVG vector export with proper viewBox handling
- Add XMind format export with Chinese character encoding fix
- Fix PNG/SVG export to capture full content by calling fit() before export
- Add JSZip dependency for XMind export

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2026-01-24 17:12:14 +08:00
JefferyHcool
467deefd28 build:完成打包功能 2025-06-20 12:03:10 +08:00
JefferyHcool
c24fcc6d7d build(tauri): 更新后端端口并优化打包流程 
- 将后端端口从8000 修改为 8483
- 更新前端请求基础 URL 以匹配新的后端端口
- 优化后端打包脚本，确保 .env 文件正确复制和清理
- 修改后端主程序和请求工具中的端口配置
 2025-06-20 09:35:34 +08:00
JefferyHcool
d92cc4a977 feat(NoteForm): 增加文件上传状态反馈 2025-06-19 14:54:51 +08:00
JefferyHcool
f1cc79aab4 fix:修复bugs 2025-06-06 21:49:07 +08:00
JefferyHcool
8b1bc54f2d refactor(backend): 重构后端异常处理和模型管理 
- 新增自定义异常类 BizException、NoteError 和 ProviderError
- 优化了模型管理相关的逻辑，包括加载、删除和测试连接等功能
- 改进了 Douyin 下载器的错误处理
- 调整了任务重试逻辑和笔记生成的异常处理- 更新了相关组件和页面以适应新的异常处理机制
 2025-06-06 21:30:23 +08:00
JefferyHcool
9b298d3094 feat(model): 增加模型管理和测试功能 
- 新增模型删除功能
- 实现模型测试连接功能
- 优化模型选择器组件
- 更新模型相关API和数据库操作
 2025-05-26 23:16:19 +08:00
黄建武
6ff8b4d90f feat(backend): 添加 Groq供应商支持并优化笔记生成流程- 在 builtin_providers.json 中添加 Groq 供应商信息 
- 实现 GroqTranscriber 类以支持 Groq 语音转录服务
- 新增异常处理中间件以提高系统稳定性
- 优化笔记生成流程，增加错误处理和日志记录
- 添加思维导图功能和相关组件
-重构 Markdown 查看器以支持切换视图模式
 2025-05-12 14:59:06 +08:00
黄建武
21c9d47495 feat(download): 添加快手下载器并优化下载配置功能 
- 新增快手下载器，支持快手视频下载
- 添加下载配置页面，可设置各平台Cookies
- 优化后端接口，增加获取和更新Cookies的功能
- 前端新增Downloader组件和相关表单组件
- 更新路由配置，增加下载配置相关路由
 2025-05-08 18:15:59 +08:00
黄建武
0bedd7ff6f feat: 更新图片路径生成逻辑- 修改了生成截图 URL 的方式，使用相对路径替代绝对路径- 在前端 Vite 配置中添加了对 /static路径的代理设置 2025-05-06 13:13:31 +08:00
黄建武
cbc94fafce fix(provider): 重新启用通过 ID 获取供应商信息的接口并增强安全性 
- 重新启用了 /get_provider_by_id/{id}接口
- 新增了 get_provider_by_id_safe 方法，用于安全地获取供应商信息
- 将原有的 get_provider_by_id 方法重命名为 get_provider_by_id_safe
 2025-05-04 17:48:15 +08:00
黄建武
97f153646f feat(frontend): 新增多版本笔记功能，并做了向下兼容。 
- 新增关于页面组件，介绍项目背景、功能和使用方法
- 重构笔记生成逻辑，支持多版本笔记
- 新增笔记版本选择、复制和导出功能
-优化笔记界面布局和交互
- 调整部分组件样式，提升用户体验
 2025-05-04 11:00:54 +08:00
黄建武
6e084f720d feat(note): 添加视频理解功能- 在 GPT 模型中增加 video_img_urls 字段用于存储视频截图 
- 在笔记生成请求中添加视频理解相关参数
- 实现视频截图功能，支持按指定间隔生成截图
- 更新笔记生成逻辑，支持视频理解功能- 在前端服务中添加视频理解相关参数
 2025-05-02 23:47:15 +08:00
黄建武
04dad3b72a feat(downloaders): 添加抖音视频识别功能 
- 新增 abogus.py 文件，实现 a_bogus 参数的生成逻辑
- 代码源自 JoeanAmier/TikTokDownloader 项目，并进行了适配和优化
- 功能包括生成用户代理字符串、加密 URL 参数和生成最终的 a_bogus值
- 提供了详细的注释和函数说明，便于理解和维护
 2025-05-02 14:00:29 +08:00
思诺特
c65de4654f feat(local): 添加本地视频处理功能 
- 实现本地视频上传和处理功能
- 新增 LocalDownloader 类处理本地视频
- 更新前端界面支持本地视频选择
- 添加视频封面提取和保存功能
- 优化后端路由支持本地视频上传
 2025-04-28 13:34:09 +08:00
思诺特
84cd345b9f feat(frontend): 重构首页布局并添加生成历史组件 
- 新增 History 组件用于展示生成历史记录
- 调整 HomeLayout 布局，增加 History 侧边栏
- 优化 NoteHistory 组件样式和布局- 更新首页样式，调整各个组件的位置和样式
 2025-04-27 16:57:03 +08:00
思诺特
171dea5e0d feat: 新增模型管理和供应商配置功能 
### v1.1.0
- #### Added
  - 新增 AI 笔记风格选择
  - 新增 AI 笔记返回格式选择
  - 添加 AI 自定义笔记备注 Prompt
  - 添加任务失败重试
  - 添加全局设置页，可在设置页进行模型设置

- #### Optimize
  - 优化前端样式，优化用户体验
  - 增加生成中间产物，可用于失败后加快生成速度
- #### Fix
  - 修复视频截图视频过早删除错误
 2025-04-26 23:40:17 +08:00
思诺特
7cfade6f78 Merge remote-tracking branch 'origin/master' into dev 
# Conflicts:
#	backend/app/transcriber/transcriber_provider.py
 2025-04-26 11:19:34 +08:00
Jefferyhcool
bb974b0b89 :feat 新增模型配置页面和相关功能 
- 新增模型配置页面组件和路由
- 实现模型配置表单和相关逻辑- 添加全局配置入口和功能- 优化首页布局和样式- 新增 404 页面组件
- 更新部分组件样式和结构
 2025-04-22 17:01:02 +08:00
SurfRid3r
a567788448 feat(transcriber): 更新转录器支持和模型下载逻辑 
- 修改 NoteGenerator 类以支持动态选择转录器类型。
- 更新 MLXWhisperTranscriber 类，添加模型下载逻辑，确保模型存在时自动下载。
- 在 transcriber_provider.py 中优化 MLX Whisper 的环境变量处理，确保在不可用时回退到 fast-whisper。
 2025-04-20 22:50:07 +08:00
SurfRid3r
0b7f6ca4ee feat:将transcriber作为环境变量配置 2025-04-19 23:13:49 +08:00
思诺特
54d2930196 fix(note): 修复不支持的 AI 提供商错误 
-将(provider)名称转换为小写，以确保大小写不敏感- 修改了对 DeepSeek 提供商名称的拼写
- 当提供不支持的提供商时，改为使用 OpenAI 提供商
- 优化了日志消息，提高了错误处理的可读性
 2025-04-17 09:09:12 +08:00
Jefferyhcool
e3d41d9514 refactor(note): 优化日志记录格式 
- 将多行日志记录改为单行记录，提高可读性
- 分别记录下载器、GPT 和视频地址信息，便于日志解析
 2025-04-14 22:15:07 +08:00
Jefferyhcool
1ebf236f4f feat(app): 添加日志记录功能 
- 新增 logger 模块，用于全局日志记录
- 在关键位置添加日志输出，包括事件处理、文件清理、FFmpeg 检查等
- 优化数据库操作，增加日志记录
- 在主程序启动时添加日志输出
 2025-04-14 19:50:44 +08:00
Jefferyhcool
0e0b8da317 first commit 2025-04-13 17:44:54 +08:00