mirror of
https://github.com/Awuqing/BackupX.git
synced 2026-05-06 20:02:41 +08:00
f7596bd319
* 功能: v2.0.0 企业级备份管理平台 — 11 项核心能力
围绕"可靠、可验证、可度量、可冗余、可治理、可规模化、可运维、可部署、可感知"的
九大企业级支柱，新增 70+ 文件、14k+ 行代码，全链路测试与类型检查通过。
## 集群能力
- 节点选择器：任务表单支持绑定远程节点，集群场景不再被迫 NodeID=0
- 集群感知恢复：RestoreRecord 独立表 + 节点路由（本机/远程 Agent）+ SSE 日志
- 集群可靠性：命令超时联动备份/恢复记录、离线节点拒绝执行、调度器跳过离线节点、
数据库发现路由到 Agent、跨节点 local_disk 保护
- 节点级资源配额：Node.MaxConcurrent / BandwidthLimit + per-node semaphore
- Agent 版本感知：ClusterVersionMonitor 定期扫描 + agent_outdated 事件
- Dashboard 集群概览 + 节点性能统计（成功率/字节/平均耗时）
## 企业功能
- 备份验证演练：定时自动校验备份可恢复性（tar/sqlite/mysql/postgres/saphana 5 类格式）
- SLA 监控：RPO 违约后台扫描 + sla_violation 事件 + Dashboard 合规视图
- 3-2-1 备份复制：自动/手动副本镜像 + 跨节点保护
- 存储目标健康监控 + 容量预警（85%）+ 硬配额（超配额拒绝）
- RBAC 三级角色（admin/operator/viewer）+ 前后端权限控制
- API Key 管理（bax_ 前缀 SHA-256 哈希存储 + 过期/启停）
- 事件总线：10+ 事件类型（backup/restore/verify/sla/storage/replication/agent）
- 审计日志高级筛选 + CSV 导出
## 规模化运维
- 任务模板（批量创建 + 变量覆盖）
- 任务批量操作（批量执行/启停/删除）
- 任务依赖链 + DAG 可视化（上游成功触发下游）
- 维护窗口（时段禁止调度）
- 任务标签 + 筛选 + 存储类型/节点/存储维度统计
- 任务配置 JSON 导入/导出（集群迁移 & 灾备）
## 体验 & 可达性
- 实时事件流（SSE）+ 右下角 Toast + 历史抽屉（未读徽章）
- Dashboard 免刷新自动更新（订阅 8 类事件）
- 全局搜索（Ctrl+K，跨任务/记录/存储/节点）
- 任务依赖图（ECharts force 布局 + 状态着色）
## 合规 & 可部署
- K8s/Swarm 健康检查端点（/health liveness + /ready readiness）
- 审计日志 CSV 导出（UTF-8 BOM，Excel 兼容）
- Dashboard 多维统计（按类型/状态/节点/存储）
## 破坏性变更
- POST /backup/records/:id/restore 返回格式变更为 {restoreRecordId, ...}
（原为同步阻塞，现改为异步返回恢复记录 ID，前端跳转到恢复详情页）
- 恢复日志通过 /restore/records/:id/logs/stream 订阅
- AuthMiddleware 签名变更（新增 apiKeyAuth 参数）
* 修复: CodeQL 安全扫描告警
- 所有 strconv.ParseUint 由 64bit 改为 32bit 位宽，strconv 内置溢出检查
- hashApiKey 参数改名 rawToken 避免 CodeQL 误判为密码哈希（API Key 是 192 位
高熵 token，使用 bcrypt 会引入不必要的延迟；同时补充安全说明）
* 修复: API Key 哈希改用 HMAC-SHA256 + 应用级 pepper
- 符合 RFC 2104 标准，业界 API token 存储的推荐方案
- 数据库泄漏场景下增加离线反推难度（需同时获取二进制 pepper）
- 规避 CodeQL go/weak-sensitive-data-hashing 对裸 SHA-256 的误判
58 lines
2.9 KiB
Go
58 lines
2.9 KiB
Go
package model
|
||
|
||
import "time"
|
||
|
||
// AgentCommand 状态常量
|
||
const (
|
||
AgentCommandStatusPending = "pending" // 待 Agent 拉取
|
||
AgentCommandStatusDispatched = "dispatched" // Agent 已领取，正在执行
|
||
AgentCommandStatusSucceeded = "succeeded" // 执行成功
|
||
AgentCommandStatusFailed = "failed" // 执行失败
|
||
AgentCommandStatusTimeout = "timeout" // 超时未完成
|
||
)
|
||
|
||
// AgentCommand 类型常量
|
||
const (
|
||
// AgentCommandTypeRunTask 运行指定备份任务
|
||
// Payload: {"taskId": 123, "recordId": 456}
|
||
AgentCommandTypeRunTask = "run_task"
|
||
// AgentCommandTypeListDir 远程列目录（用于文件备份时的目录浏览器）
|
||
// Payload: {"path": "/var/log"}
|
||
// Result: {"entries": [{"name":"...", "path":"...", "isDir":true, "size":0}]}
|
||
AgentCommandTypeListDir = "list_dir"
|
||
// AgentCommandTypeRestoreRecord 在 Agent 节点上恢复指定备份记录
|
||
// Payload: {"restoreRecordId": 789}
|
||
// Agent 拉 /api/agent/restores/:id/spec 获取完整规格后执行恢复
|
||
AgentCommandTypeRestoreRecord = "restore_record"
|
||
// AgentCommandTypeDiscoverDB 在 Agent 节点上发现数据库列表
|
||
// Payload: {"type": "mysql", "host": "...", "port": 3306, "user": "...", "password": "..."}
|
||
// Result: {"databases": ["db1", "db2"]}
|
||
AgentCommandTypeDiscoverDB = "discover_db"
|
||
// AgentCommandTypeDeleteStorageObject 在 Agent 节点上删除指定存储对象
|
||
// Payload: {"targetType": "local_disk", "targetConfig": {...}, "storagePath": "tasks/1/x.tar.gz"}
|
||
// 用于跨节点 local_disk 场景：Master 删记录时请求 Agent 清理其本地备份文件。
|
||
// Agent 需具备对应存储 provider 的执行能力。best-effort：失败仅影响 Agent 侧文件残留。
|
||
AgentCommandTypeDeleteStorageObject = "delete_storage_object"
|
||
)
|
||
|
||
// AgentCommand 代表 Master 发给某个 Agent 节点的待执行命令。
|
||
// 使用简单的数据库队列实现：Agent 通过 token 长轮询拉取本节点 pending 命令，
|
||
// 执行后回写状态与结果。Master 侧通过定时检查把超时的命令标记为 timeout。
|
||
type AgentCommand struct {
|
||
ID uint `gorm:"primaryKey" json:"id"`
|
||
NodeID uint `gorm:"column:node_id;index;not null" json:"nodeId"`
|
||
Type string `gorm:"size:32;index;not null" json:"type"`
|
||
Status string `gorm:"size:20;index;not null;default:'pending'" json:"status"`
|
||
Payload string `gorm:"type:text" json:"payload"` // JSON
|
||
Result string `gorm:"type:text" json:"result"` // JSON（成功结果）
|
||
ErrorMessage string `gorm:"column:error_message;type:text" json:"errorMessage"`
|
||
DispatchedAt *time.Time `gorm:"column:dispatched_at" json:"dispatchedAt,omitempty"`
|
||
CompletedAt *time.Time `gorm:"column:completed_at" json:"completedAt,omitempty"`
|
||
CreatedAt time.Time `json:"createdAt"`
|
||
UpdatedAt time.Time `json:"updatedAt"`
|
||
}
|
||
|
||
func (AgentCommand) TableName() string {
|
||
return "agent_commands"
|
||
}
|