GithubBackup/BiliNote
1
0
Fork 0
mirror of https://github.com/JefferyHcool/BiliNote.git synced 2026-05-13 07:01:08 +08:00
Code Issues Packages Projects Releases Wiki Activity
419 Commits 4 Branches 15 Tags
2e69d1179be48a2f6619d7f385e8965bd18ffc96
Commit Graph

11 Commits

Author SHA1 Message Date
huangjianwu
a7c717abbd feat(extension): 多模态视频理解开关 + 抽帧/拼图参数（对齐 web NoteForm） 
web 端 NoteForm 早就有 video_understanding / video_interval / grid_size 三件套，
插件之前没有，导致用户在视觉模型上想用「画面理解」时只能去 web 端发任务。

新增字段（types.ts Settings 与 GenerateRequest 同步）：
- video_understanding: boolean，默认 false（关）
- video_interval: number，1-30 秒，默认 6（与 web NoteForm 默认一致）
- grid_size: [number, number]，1-10，默认 [2,2]

UI 落地：
- popup 「高级」折叠区：开关 + interval + grid_size 行/列三栏，启用时才显示后两个，
  并提示需要选视觉模型
- options General 页：单独一节「视频理解（多模态）」展开同样字段
- popup start() 与 background startTask() 在 generate_note 请求里带上这三个字段；
  关闭时不传（避免覆盖 backend 默认）

回归风险：默认 false，对现有用户行为不变。

依赖：feature/extension-form-parity（叠加在它之上，因为 Settings 是同一片字段域）。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 17:22:57 +08:00
huangjianwu
799ab64a28 feat(extension): NoteForm 字段对齐 web 端（style 预设 + format 完整 + extras） 
之前插件 popup / options 的笔记选项跟 web 端 NoteForm 不齐，存在三处差距：

1. style 字段实质 broken
   · backend prompt_builder.get_style_format 是 enum 映射（minimal/detailed/
     academic/tutorial/xiaohongshu/life_journal/task_oriented/business/
     meeting_minutes 共 9 个），不命中直接 return ''
   · 插件原来给的是自由文本框，用户填什么都对不上 enum，等于没传
   · 改：popup + options 都换成 9 个预设的下拉框，与 backend 严格对齐
2. format 字段缺一半
   · backend 支持 toc / link / screenshot / summary 四个
   · 插件只暴露了 screenshot / link 两个 checkbox
   · 改：types.ts 新增 NOTE_FORMATS 常量，UI 渲染完整 4 个 checkbox。
     生成请求时 format 数组、screenshot/link 单布尔由 settings.formats 派生，单一真相源
3. 缺 extras 字段
   · backend VideoRequest.extras 直接拼到 prompt 末尾给 LLM
   · 改：popup 折叠的"高级"区 + options 默认生成选项区都加 textarea

Settings 默认值：style='minimal'、formats=['toc','summary']、extras=''。
旧 settings 里若 style 是无效字符串，下拉会显示空白，用户重选一次即可。

logic/types.ts：
- 新增 NoteStyle / NoteFormat type alias 与 NOTE_STYLES / NOTE_FORMATS 常量
- Settings 接口加 formats: NoteFormat[] / extras: string，style 改为 NoteStyle
- 老的 screenshot / link 布尔保留（向后兼容旧 storage），但 UI 不再绑定，submit 时也由 formats 派生

popup / background / options 三处提交 generate_note 的逻辑同步收口。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 17:18:28 +08:00
huangjianwu
406789f834 feat(extension+backend): 插件直接在浏览器里抓 B 站字幕，跳过后端 download_subtitles 
之前 B 站字幕优先逻辑放在后端的 BilibiliSubtitleFetcher，需要后端通过 CookieConfigManager
管理 SESSDATA cookie 才能拿 AI 字幕。这次改为：插件在用户浏览器里直接抓字幕，
天然带着用户当前登录态的 cookie；后端只负责把传过来的字幕当作转写缓存。

extension：
- 新增 logic/bilibili-subtitle.ts，调 /x/web-interface/view → /x/player/wbi/v2 → 字幕 URL JSON
  · service worker fetch 走 credentials:'include'，借 manifest host_permissions:'*://*/*'
    自动带 .bilibili.com 域 cookie，并绕过 CORS
  · 优先级：人工中文 > AI 中文 > 任意非空
- popup start() 与 background startTask() 在 platform === 'bilibili' 时先调一次抓取，
  结果作为 prefetched_transcript 字段塞到 /api/generate_note payload
- types.ts GenerateRequest 增加 prefetched_transcript 字段

backend：
- VideoRequest 增加可选 prefetched_transcript: dict
- generate_note endpoint 收到时调 _persist_prefetched_transcript() 写到
  NOTE_OUTPUT_DIR/<task_id>_transcript.json；NoteGenerator 的 cache-hit 逻辑天然命中，
  跳过 downloader.download_subtitles 和音频转写，直接走 GPT 总结
- 字幕清洗：去掉空 segment、必要时合成 full_text、language 默认 'zh'

效果：B 站登录用户的视频，从用户点击到 GPT 拿到全文，省掉一次后端 → B 站 API 的来回，
也彻底告别了 backend 那侧的 cookie 配置心智负担。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 12:23:16 +08:00
huangjianwu
d64741628b ui(extension): 渲染时剥掉 backend 注入的 '> 来源链接：URL' 行 
backend 的 note_helper 会在笔记开头加一行 '> 来源链接：<url>'。侧边栏顶部已经有
封面 + 标题 + 跳原片链接的卡片，再在正文里出现一遍是冗余还吃高度。
MindMap 也会把它当作根节点的兄弟节点，影响导图结构。

加 stripSourceLink() helper（regex 直接复刻 web 端 MarkdownViewer.tsx:468 的处理），
在 MarkdownView 与 MindMap 渲染前剥掉。复制 / 下载导出的 .md 仍保留原行，便于溯源。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 12:18:55 +08:00
huangjianwu
bb9637f30a ui(extension): 侧边栏布局收紧，给笔记内容更多呼吸空间 
之前侧边栏堆了：96×56 大封面 + 标题 + URL 链接 + 8 段进度条 + 'Markdown/思维导图/AI 问答' tab + MarkdownView 自带的复制/下载条 + 内容标题 …… 在窄侧栏里太挤，主内容被压到下半屏。

重做：
- 顶栏极简化：左边 'BiliNote'，右边「历史 N」按钮 + 「设置」按钮
- 历史任务从底部 details 改成顶栏触发的下拉面板，用了再展开
- 标题区压成一行：12×7 小封面 + 单行标题（hover 显示完整 URL，点击跳原片）+ 行尾状态徽章
  · 进行中：蓝色阶段名 + 脉冲动画
  · 完成：绿色 ✓
  · 失败：红色徽章 + tooltip 显示原因
- 进度条只在 isRunning 时渲染；完成后整段消失
- 视图 tab 与「复制 / 下载」按钮合并到同一行（仅 markdown 视图显示）
- MarkdownView 加 hideActions prop，去掉它自带的按钮区，避免重复；同时去掉 max-h-[400px]，撑满父容器

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 12:15:05 +08:00
huangjianwu
0793949516 feat(extension): popup 改紧凑视图，markdown 详情挪到侧边栏 
之前 popup 直接在 400px 宽里渲染 markdown，看起来很挤。改成：
- popup：标题 + 封面缩略图 + 进度条 + 「在侧边栏查看」按钮，不再渲染 markdown
- 提交「生成笔记」后自动调 chrome.sidePanel.open 把侧边栏拉起来
- 最近任务列表显示标题（拿到时）而非 URL
- 新增 logic/api.resolveImageUrl：相对 /static 路径拼后端域名；hdslb / byteimg / kpcdn / ytimg 等带 referer 校验的封面走后端 /api/image_proxy 转发，避免 CORS / 防盗链问题
- 侧边栏顶部同样展示封面 + 标题 + 跳原片链接，方便用户辨识当前任务

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 12:11:48 +08:00
huangjianwu
e694b460e8 fix(extension): /task_status 拆 ResponseWrapper，进度条不再为空 
backend /api/task_status/{id} 实际形状是 R.success({status, message, task_id, result?})
即外面再套一层 {code, msg, data}。原来 getTaskStatus 直接 fetch().json() 没拆包，
导致 res.status 一直是 undefined，TaskProgress 渲染不出阶段标签、进度条全灰，
"最近任务" 列表的状态字段也是空的。

同时把 backend 任务失败时的 R.error(message, code=500) 翻译成 {status:'FAILED', message}，
让 UI 能正确显示失败终态、停止轮询，而不是被 request() 抛错卡在那里循环重试。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 12:07:45 +08:00
huangjianwu
f37d2e95d1 feat(extension): 侧边栏接入思维导图（markmap）与 RAG 问答（P3 + P4） 
任务完成（status === SUCCESS）后，侧边栏顶部出现 Markdown / 思维导图 / AI 问答 三个 tab：

- 思维导图：用 markmap-lib + markmap-view 把 markdown 转成可缩放思维导图
- AI 问答：
  · 进入 tab 自动调 /api/chat/index 触发后台索引，按 2s 间隔轮询 /api/chat/status
  · 索引完成后开放输入框；调 /api/chat/ask 时带上 settings 里的默认 provider/model + 完整 history
  · Cmd/Ctrl + Enter 发送
  · 回答用 markdown-it 渲染，user 气泡用纯文本
- 切换任务时清空对话历史并重新检查索引

logic/api.ts 补 indexChatTask / getChatStatus / askChat 三件套。

依赖新增：markmap-lib, markmap-view（生产依赖）

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 12:02:12 +08:00
huangjianwu
3bd8b670ca feat(extension): options 改为多 tab，搬入 web 端的全部设置项 
把原来一长条的 options 拆成五个 tab，覆盖 web 端 SettingPage 的全部能力。今后新功能优先在插件里做，web 端逐步退役。

- 通用：后端地址 + 默认供应商/模型 + 默认生成选项（原 Options.vue 内容）
- 模型供应商：完整 CRUD —— 列表 / 启用切换 / 编辑 / 测试连接 / 添加 / 模型增删
- 音频转写配置：转写器引擎切换（fast-whisper / mlx-whisper / Groq / 必剪 / 快手）+ Whisper 模型大小切换 + 模型本地下载状态 + 触发下载
  · 直接修复 'MLX Whisper 不可用' 报错——非 Mac 用户现在能切到 fast-whisper / Groq
- 下载配置：每平台 cookie 显示 / 浏览器一键同步 / 手动粘贴保存
- 部署监控：后端、FFmpeg、CUDA、Whisper 模型 当前状态

logic/api.ts 补齐：provider CRUD / model CRUD / connect_test / transcriber_config / transcriber_models_status / transcriber_download / get_downloader_cookie / deploy_status / sys_health。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 11:53:08 +08:00
huangjianwu
880587f2db feat(extension): P2 视频页悬浮按钮 + 右键菜单 + cookie 直通；P3 侧边栏首版 
- contentScripts: 仅在支持的视频平台（B 站 / YouTube / 抖音 / 快手）注入悬浮 BiliNote 按钮，点击通过 webext-bridge 发 'bilinote-start' 给 background
- background: 处理 bilinote-start 与右键菜单点击；调 /api/generate_note；写 chrome.storage；自动打开侧边栏。logic/storage 是 Vue 反应式版本，service worker 不能 import，因此把常量抽到 logic/constants.ts
- contextMenus: onInstalled 时注册"用 BiliNote 总结此视频"，限定 4 个支持平台域名
- 浏览器 Cookie 同步：options 页加按钮，按平台读 chrome.cookies.getAll，序列化为 'name=value; ...' 后 POST 给后端 /api/update_downloader_cookie。chrome.cookies + contextMenus 权限补到 manifest
- 侧边栏（P3 首版）：从 storage 读最近任务并轮询，复用 TaskProgress + MarkdownView。markmap 思维导图与 RAG 问答推到后续
- 修 P1 endpoint 拼错的 bug：/api/get_models_by_provider 实际是 /api/model_enable，404 来自这里

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 11:46:09 +08:00
huangjianwu
b8f359e7e7 feat(extension): 浏览器插件 P1 MVP 
新建 BillNote_extension/ 工作空间（基于 vitesse-webext 骨架，Vue 3 + Vite + UnoCSS + MV3）。

P1 MVP 范围：
- popup：自动读当前 tab URL，识别 Bilibili / YouTube / 抖音 / 快手；提交 /generate_note 后轮询 /task_status；展示 markdown，复制 + 下载 .md
- options：后端地址输入与连通性测试；从 /get_all_providers + /get_models_by_provider 拉供应商/模型列表；默认画质、截图/跳转、笔记风格
- chrome.storage.local 持久化设置与最近 30 个任务，popup 重开恢复进行中任务
- markdown 里的 /static/screenshots 路径在渲染前重写为绝对地址

后端：CORS 改用 regex，新增允许 chrome-extension:// 与 moz-extension:// 源（同时保留 localhost / 127.0.0.1 / tauri.localhost）。无新增 backend endpoint。

P2-P4（content script 悬浮按钮、cookie 直通、side panel、思维导图、RAG 问答）保留 stub 文件，不在本次范围。

去掉 vitesse-webext 自带的 simple-git-hooks postinstall 配置——它会在仓库根装 pre-commit 钩子去跑 pnpm lint-staged，但仓库根没有 package.json，会破坏所有提交流。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-07 11:40:15 +08:00