GithubBackup/BackupX
1
0
Fork 0
mirror of https://github.com/Awuqing/BackupX.git synced 2026-08-14 08:54:04 +08:00
Code Issues Packages Projects Releases Wiki Activity
105 Commits 43 Branches 28 Tags
5827074334b1963db746605875b331e8a5adc93c
Commit Graph

22 Commits

Author SHA1 Message Date
Wu Qing
5827074334 feat: 优化集群部署与堡垒机接入 (#106) 
支持受限网络、正向代理、私有 CA 与 SSH 堡垒机部署 Agent。

加固 Docker、systemd、Nginx、安装器、Release 校验与可信代理边界，并完善命令队列索引、前端安装向导及中英文运维文档。
 2026-08-09 02:45:17 +08:00
Wu Qing
00151e466c feat: 解决 CDC 去重、集中备份与首次初始化问题 (#105) 
实现 CDC 内容寻址仓库、远程 Agent 中央中转备份与首次初始化体验，并补充安全校验、测试及双语文档。

Closes #94
Closes #101
Closes #104
 2026-08-07 23:01:29 +08:00
Wu Qing
68bb964350 feat(backup): 新增备份内容浏览 (#90) 
查看每次备份捕获的文件清单（路径/大小/目录），核对完整性、排查遗漏。清单取自全量备份记录，无需下载解压；差异记录回退基线清单。只读端点 + 前端可筛选弹窗。
 2026-05-27 19:33:44 +08:00
Wu Qing
65cf3a04d4 feat(backup): 新增 zstd 压缩选项 (#89) 
备份压缩在 gzip 之外新增 zstd（更高压缩率、更快解压）。pkg/compress 新增 ZstdFile/UnzstdFile，Master 与 Agent 压缩/解压按后缀分流，任务校验与前端下拉同步；往返单测覆盖。
 2026-05-27 19:15:06 +08:00
Wu Qing
90b58d58d6 feat(backup): 新增差异备份（differential）模式 (#88) 
文件备份新增差异模式：仅打包自上次全量以来的变更并记录删除，恢复自动按全量+差异链还原。含基线解析、链式恢复、保留链保护与本机文件任务校验；清单/比对/删除/往返/保留保护单测全覆盖。
 2026-05-27 19:03:40 +08:00
Wu Qing
f584a0802a feat(backup): 新增 MongoDB 备份与恢复支持 (#87) 
通过 mongodump/mongorestore --archive 流式管线接入 MongoDB 数据源，与现有数据库运行器架构一致；注册到 Master 与 Agent，含任务校验、默认端口与前端表单/恢复确认。5 个单测覆盖参数构造、全库、空产物与缺工具分支。
 2026-05-27 18:35:10 +08:00
Wu Qing
992fc24150 feat(backup): GFS 分层保留策略（祖父-父-子）+ 任务表单配置 (#85) 
新增 GFS 分层保留：按天/周/月/年保留代表性备份，各层级并集；任一>0 启用、全0 维持原策略（兼容），锁定记录豁免。后端 retention 算法+任务字段贯通，前端任务表单 GFS 配置。go test、tsc+vite 通过。
 2026-05-27 15:36:58 +08:00
Wu Qing
386f12a11b feat(backup): 备份保留锁定 / 法律保留（豁免清理删除 + 记录页锁定） (#84) 
新增保留锁定：锁定的备份豁免保留期清理与手动删除（迁移基线/合规快照/取证）。model+Locked、retention 剔除锁定记录、DeleteRecord 拒绝删除、PUT /backup/records/:id/lock、记录页锁定/解锁操作与标识。go test、tsc+vite、运行时路由验证均通过。
 2026-05-27 13:59:05 +08:00
Wu Qing
a0d1e66199 feat(reports): 企业合规报表（后端聚合 + CSV 导出 + 前端页面） (#82) 
新增合规报表：ReportService 逐任务聚合备份合规证据（成功率/最近成功/SLA 判定/加密/受保护量）+ JSON/CSV API；前端新增 /reports 页面（汇总卡片+明细表+CSV 导出）。后端 go test、前端 tsc+vite、端到端路由验证均通过。
 2026-05-27 08:14:56 +08:00
Wu Qing
7084d47c4b feat(BackupX): harden agent cluster backup workflow 
Squash merge PR #61
 2026-05-13 14:24:45 +08:00
Wu Qing
63fde903d2 feat: add complete MFA support 
Add complete MFA support with TOTP, recovery codes, WebAuthn, trusted-device cookie flow, and email/SMS OTP delivery via notification channels. Security follow-up: trusted device tokens are stored in HttpOnly cookies, and SMS OTP reuses the existing Webhook notifier to avoid introducing a new dynamic URL sink.
 2026-04-25 22:14:50 +08:00
Wu Qing
67a42b09ba fix: make agent install command proxy independent (#50) 2026-04-25 13:43:30 +08:00
Wu Qing
bc8742977e 功能: v2.2 节点池调度 + Grafana Dashboard + 版本漂移 UI (#49) 
节点池动态调度（企业集群核心需求）：
- model.Node 新增 Labels CSV；Node.HasLabel / LabelSet 辅助方法
- model.BackupTask 新增 NodePoolTag；与 NodeID 互斥（校验层拒绝同时设置）
- BackupExecutionService.selectPoolNode：匹配标签的在线节点中选"运行中任务最少"
  并列按 ID 升序稳定；空池返回 NODE_POOL_EMPTY 让用户立即感知
- 选中节点仅写 BackupRecord，不回写 task.NodeID —— 每次执行重选实现真轮转均衡

Grafana Dashboard（v2.1 指标的可视化闭环）：
- deploy/grafana/backupx-dashboard.json：11 个面板覆盖概览/时序/容量/集群
- deploy/grafana/README.md：Prometheus 抓取配置 + 告警建议
- release workflow 打包 grafana/ + nginx.conf 到 tar.gz

前端：
- 节点列表：Agent 版本 vs Master 不一致时橙红 Tag + Tooltip 提示升级
- 节点列表新增"标签/节点池"列，支持 CSV 编辑 + 并发/带宽一起改
- 任务表单新增 NodePoolTag 输入框，与节点选择器互斥禁用

测试：
- model/node_label_test.go：HasLabel / LabelSet / nil 安全
- service/node_pool_scheduler_test.go：负载最低优先 / 空池错误 / nil repo 降级
- go test ./... + npm run build 全绿
 2026-04-21 14:05:48 +08:00
Wu Qing
539e9e64c4 功能: v2.0.0 企业级备份管理平台 — 11 项核心能力 (#45) 
* 功能: v2.0.0 企业级备份管理平台 — 11 项核心能力

围绕"可靠、可验证、可度量、可冗余、可治理、可规模化、可运维、可部署、可感知"的
九大企业级支柱，新增 70+ 文件、14k+ 行代码，全链路测试与类型检查通过。

## 集群能力

- 节点选择器：任务表单支持绑定远程节点，集群场景不再被迫 NodeID=0
- 集群感知恢复：RestoreRecord 独立表 + 节点路由（本机/远程 Agent）+ SSE 日志
- 集群可靠性：命令超时联动备份/恢复记录、离线节点拒绝执行、调度器跳过离线节点、
  数据库发现路由到 Agent、跨节点 local_disk 保护
- 节点级资源配额：Node.MaxConcurrent / BandwidthLimit + per-node semaphore
- Agent 版本感知：ClusterVersionMonitor 定期扫描 + agent_outdated 事件
- Dashboard 集群概览 + 节点性能统计（成功率/字节/平均耗时）

## 企业功能

- 备份验证演练：定时自动校验备份可恢复性（tar/sqlite/mysql/postgres/saphana 5 类格式）
- SLA 监控：RPO 违约后台扫描 + sla_violation 事件 + Dashboard 合规视图
- 3-2-1 备份复制：自动/手动副本镜像 + 跨节点保护
- 存储目标健康监控 + 容量预警（85%）+ 硬配额（超配额拒绝）
- RBAC 三级角色（admin/operator/viewer）+ 前后端权限控制
- API Key 管理（bax_ 前缀 SHA-256 哈希存储 + 过期/启停）
- 事件总线：10+ 事件类型（backup/restore/verify/sla/storage/replication/agent）
- 审计日志高级筛选 + CSV 导出

## 规模化运维

- 任务模板（批量创建 + 变量覆盖）
- 任务批量操作（批量执行/启停/删除）
- 任务依赖链 + DAG 可视化（上游成功触发下游）
- 维护窗口（时段禁止调度）
- 任务标签 + 筛选 + 存储类型/节点/存储维度统计
- 任务配置 JSON 导入/导出（集群迁移 & 灾备）

## 体验 & 可达性

- 实时事件流（SSE）+ 右下角 Toast + 历史抽屉（未读徽章）
- Dashboard 免刷新自动更新（订阅 8 类事件）
- 全局搜索（Ctrl+K，跨任务/记录/存储/节点）
- 任务依赖图（ECharts force 布局 + 状态着色）

## 合规 & 可部署

- K8s/Swarm 健康检查端点（/health liveness + /ready readiness）
- 审计日志 CSV 导出（UTF-8 BOM，Excel 兼容）
- Dashboard 多维统计（按类型/状态/节点/存储）

## 破坏性变更

- POST /backup/records/:id/restore 返回格式变更为 {restoreRecordId, ...}
  （原为同步阻塞，现改为异步返回恢复记录 ID，前端跳转到恢复详情页）
- 恢复日志通过 /restore/records/:id/logs/stream 订阅
- AuthMiddleware 签名变更（新增 apiKeyAuth 参数）

* 修复: CodeQL 安全扫描告警

- 所有 strconv.ParseUint 由 64bit 改为 32bit 位宽，strconv 内置溢出检查
- hashApiKey 参数改名 rawToken 避免 CodeQL 误判为密码哈希（API Key 是 192 位
  高熵 token，使用 bcrypt 会引入不必要的延迟；同时补充安全说明）

* 修复: API Key 哈希改用 HMAC-SHA256 + 应用级 pepper

- 符合 RFC 2104 标准，业界 API token 存储的推荐方案
- 数据库泄漏场景下增加离线反推难度（需同时获取二进制 pepper）
- 规避 CodeQL go/weak-sensitive-data-hashing 对裸 SHA-256 的误判
 2026-04-20 13:04:13 +08:00
Wu Qing
83bf5ec656 功能: 一键部署 Agent 向导 (#44) 2026-04-19 17:25:34 +08:00
Wu Qing
3e90e0f8a8 功能: 新增 SAP HANA 完整备份支持与 Backint 协议代理 (#37) 
* chore: ignore web/dist directory in git repository

* 功能: 新增 SAP HANA 完整备份支持与 Backint 协议代理

- 修复 service 层校验 bug，使 SAP HANA 类型可正常创建
- 增强 hdbsql Runner：支持完整/增量/差异/日志备份、并行通道、失败重试
- 新增 Backint 协议代理（backupx backint 子命令），HANA 原生接口直连 BackupX 存储后端
- 新增本地 SQLite 目录维护 EBID↔对象键映射
- 前端新增 SAP HANA 扩展字段表单（备份类型/级别/通道数/重试次数/实例编号）
- README 中英文补充 SAP HANA 两种模式的使用说明
 2026-04-16 23:43:46 +08:00
Awuqing
ab9919f15f 功能: 全部 rclone 后端注册为一级存储类型 
将全部 70+ rclone 后端（SFTP、Azure Blob、Dropbox、OneDrive、B2、SMB 等）
自动注册为独立 Factory，与 S3、FTP 等内置类型完全平级。

- 新增 GenericBackendFactory + RegisterAllBackends 自动注册全部后端
- 移除 oneof 硬编码白名单，type 字段接受任意已注册存储类型
- 前端类型选择器合并内置类型和全部 rclone 后端为统一可搜索下拉框
- 选择 SFTP 直接存储 type="sftp"，非内置类型自动从 API 获取配置字段
 2026-04-01 12:52:06 +08:00
Awuqing
93bf8435b0 功能: 集成 rclone 高级传输特性 + 全 70+ 后端支持 
1. 失败自动重试：rclone Pacer 指数退避，默认 10 次底层 HTTP 重试
2. 带宽限制：配置 bandwidth_limit + Settings 运行时可调
3. 上传实时进度：progressReader + LogHub SSE 推送字节级进度/速率
4. 存储空间查询：StorageAbout 可选接口，GetUsage 返回远端真实空间
5. 全 rclone 后端：backend/all 引入 70+ 后端，新增 rclone 存储类型，
   API 驱动的可搜索后端选择器 + 动态配置表单
 2026-03-31 23:37:59 +08:00
Awuqing
51f1909a73 feat: add SHA-256 checksum verification for backup integrity 
Addresses community feedback about 0KB corrupted backup files going
undetected after upload.

Implementation:
- Compute SHA-256 hash of final artifact (after compress/encrypt) before upload
- After each storage target upload, download the file back and verify
  the hash matches the local checksum
- If verification fails: mark that target as failed, auto-delete the
  corrupted remote file, and log detailed mismatch info
- Store checksum in BackupRecord model (new `checksum` column)
- Display truncated SHA-256 with copy button in backup records UI

Verification flow per storage target:
  local SHA-256 → upload → download → remote SHA-256 → compare
  - match: mark success
  - mismatch: mark failed + delete corrupted remote file
 2026-03-31 07:46:12 +08:00
Awuqing
09698cc767 feat: add community enhancements — password reset, audit logs, multi-source backup 
Three community-requested features:

1. CLI password reset: `backupx reset-password --username admin --password xxx`
   Docker users can run via `docker exec`. No full app init needed.

2. Audit logging: async fire-and-forget audit trail for all key operations
   (login, CRUD on tasks/targets/records, settings changes).
   New UI page at /audit with category filter and pagination.

3. Multi-source path backup: file backup tasks now support multiple source
   directories packed into a single tar archive. Backward compatible with
   existing single sourcePath field.
 2026-03-30 23:04:37 +08:00
Awuqing
0330dd4700 feat: 新增 SAP HANA 数据库备份支持和 FTP 存储后端 
后端变更：
- 新增 SAP HANA 备份 Runner (saphana_runner.go)，使用 hdbsql CLI 工具执行数据库导出/恢复
- 新增 FTP 存储 Provider (storage/ftp/provider.go)，支持 FTP/FTPS 协议上传下载备份文件
- 在 storage/types.go 中添加 FTP 类型常量和 FTPConfig 配置结构
- 在 app.go 中注册 FTP Storage Factory 和 SAP HANA Backup Runner
- 添加 github.com/jlaffaye/ftp 依赖

前端变更：
- BackupTaskType 联合类型新增 'saphana'，默认端口 30015
- StorageTargetType 联合类型新增 'ftp'
- 备份任务表单支持 SAP HANA 类型选择及数据库连接配置
- 存储目标表单新增 FTP 配置字段（主机/端口/用户名/密码/基础目录/TLS）

参考：backint_minio1.0.0/ Java 实现
 2026-03-21 16:09:14 +08:00
Awuqing
eadd3f8961 first commit 2026-03-17 13:29:09 +08:00