mirror of
https://github.com/Awuqing/BackupX.git
synced 2026-05-06 20:02:41 +08:00
* 功能: v2.0.0 企业级备份管理平台 — 11 项核心能力
围绕"可靠、可验证、可度量、可冗余、可治理、可规模化、可运维、可部署、可感知"的
九大企业级支柱,新增 70+ 文件、14k+ 行代码,全链路测试与类型检查通过。
## 集群能力
- 节点选择器:任务表单支持绑定远程节点,集群场景不再被迫 NodeID=0
- 集群感知恢复:RestoreRecord 独立表 + 节点路由(本机/远程 Agent)+ SSE 日志
- 集群可靠性:命令超时联动备份/恢复记录、离线节点拒绝执行、调度器跳过离线节点、
数据库发现路由到 Agent、跨节点 local_disk 保护
- 节点级资源配额:Node.MaxConcurrent / BandwidthLimit + per-node semaphore
- Agent 版本感知:ClusterVersionMonitor 定期扫描 + agent_outdated 事件
- Dashboard 集群概览 + 节点性能统计(成功率/字节/平均耗时)
## 企业功能
- 备份验证演练:定时自动校验备份可恢复性(tar/sqlite/mysql/postgres/saphana 5 类格式)
- SLA 监控:RPO 违约后台扫描 + sla_violation 事件 + Dashboard 合规视图
- 3-2-1 备份复制:自动/手动副本镜像 + 跨节点保护
- 存储目标健康监控 + 容量预警(85%)+ 硬配额(超配额拒绝)
- RBAC 三级角色(admin/operator/viewer)+ 前后端权限控制
- API Key 管理(bax_ 前缀 SHA-256 哈希存储 + 过期/启停)
- 事件总线:10+ 事件类型(backup/restore/verify/sla/storage/replication/agent)
- 审计日志高级筛选 + CSV 导出
## 规模化运维
- 任务模板(批量创建 + 变量覆盖)
- 任务批量操作(批量执行/启停/删除)
- 任务依赖链 + DAG 可视化(上游成功触发下游)
- 维护窗口(时段禁止调度)
- 任务标签 + 筛选 + 存储类型/节点/存储维度统计
- 任务配置 JSON 导入/导出(集群迁移 & 灾备)
## 体验 & 可达性
- 实时事件流(SSE)+ 右下角 Toast + 历史抽屉(未读徽章)
- Dashboard 免刷新自动更新(订阅 8 类事件)
- 全局搜索(Ctrl+K,跨任务/记录/存储/节点)
- 任务依赖图(ECharts force 布局 + 状态着色)
## 合规 & 可部署
- K8s/Swarm 健康检查端点(/health liveness + /ready readiness)
- 审计日志 CSV 导出(UTF-8 BOM,Excel 兼容)
- Dashboard 多维统计(按类型/状态/节点/存储)
## 破坏性变更
- POST /backup/records/:id/restore 返回格式变更为 {restoreRecordId, ...}
(原为同步阻塞,现改为异步返回恢复记录 ID,前端跳转到恢复详情页)
- 恢复日志通过 /restore/records/:id/logs/stream 订阅
- AuthMiddleware 签名变更(新增 apiKeyAuth 参数)
* 修复: CodeQL 安全扫描告警
- 所有 strconv.ParseUint 由 64bit 改为 32bit 位宽,strconv 内置溢出检查
- hashApiKey 参数改名 rawToken 避免 CodeQL 误判为密码哈希(API Key 是 192 位
高熵 token,使用 bcrypt 会引入不必要的延迟;同时补充安全说明)
* 修复: API Key 哈希改用 HMAC-SHA256 + 应用级 pepper
- 符合 RFC 2104 标准,业界 API token 存储的推荐方案
- 数据库泄漏场景下增加离线反推难度(需同时获取二进制 pepper)
- 规避 CodeQL go/weak-sensitive-data-hashing 对裸 SHA-256 的误判
225 lines
6.6 KiB
Go
225 lines
6.6 KiB
Go
package http
|
||
|
||
import (
|
||
stdhttp "net/http"
|
||
"strconv"
|
||
"strings"
|
||
|
||
"backupx/server/internal/service"
|
||
"backupx/server/pkg/response"
|
||
|
||
"github.com/gin-gonic/gin"
|
||
)
|
||
|
||
// AgentHandler 实现 Agent 调用 Master 的 HTTP API。
|
||
// 全部端点通过 X-Agent-Token 头做节点认证,不使用 JWT。
|
||
type AgentHandler struct {
|
||
agentService *service.AgentService
|
||
nodeService *service.NodeService
|
||
restoreService *service.RestoreService
|
||
}
|
||
|
||
func NewAgentHandler(agentService *service.AgentService, nodeService *service.NodeService, restoreService *service.RestoreService) *AgentHandler {
|
||
return &AgentHandler{agentService: agentService, nodeService: nodeService, restoreService: restoreService}
|
||
}
|
||
|
||
// extractToken 从请求头或 JSON body 中提取 Agent Token。
|
||
func extractToken(c *gin.Context) string {
|
||
if t := strings.TrimSpace(c.GetHeader("X-Agent-Token")); t != "" {
|
||
return t
|
||
}
|
||
// Authorization: Bearer <token>
|
||
if auth := c.GetHeader("Authorization"); strings.HasPrefix(auth, "Bearer ") {
|
||
return strings.TrimSpace(strings.TrimPrefix(auth, "Bearer "))
|
||
}
|
||
return ""
|
||
}
|
||
|
||
// Heartbeat 扩展原有 heartbeat:除上报状态外,返回节点 ID 给 Agent 做后续调用。
|
||
func (h *AgentHandler) Heartbeat(c *gin.Context) {
|
||
var input struct {
|
||
Token string `json:"token"`
|
||
Hostname string `json:"hostname"`
|
||
IPAddress string `json:"ipAddress"`
|
||
AgentVersion string `json:"agentVersion"`
|
||
OS string `json:"os"`
|
||
Arch string `json:"arch"`
|
||
}
|
||
_ = c.ShouldBindJSON(&input)
|
||
// token 优先走 body(向后兼容),否则从 header 读
|
||
token := input.Token
|
||
if token == "" {
|
||
token = extractToken(c)
|
||
}
|
||
if token == "" {
|
||
c.JSON(stdhttp.StatusBadRequest, gin.H{"code": "INVALID_INPUT", "message": "missing token"})
|
||
return
|
||
}
|
||
if err := h.nodeService.Heartbeat(c.Request.Context(), token, input.Hostname, input.IPAddress, input.AgentVersion, input.OS, input.Arch); err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
// 返回节点元信息给 Agent(node_id 用于后续 API 路径)
|
||
node, err := h.agentService.AuthenticatedNode(c.Request.Context(), token)
|
||
if err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
response.Success(c, gin.H{
|
||
"status": "ok",
|
||
"nodeId": node.ID,
|
||
"name": node.Name,
|
||
})
|
||
}
|
||
|
||
// Poll Agent 长轮询获取下一条待执行命令。
|
||
// 无命令时返回 {command: null}。
|
||
func (h *AgentHandler) Poll(c *gin.Context) {
|
||
node, err := h.agentService.AuthenticatedNode(c.Request.Context(), extractToken(c))
|
||
if err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
cmd, err := h.agentService.PollCommand(c.Request.Context(), node)
|
||
if err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
response.Success(c, gin.H{"command": cmd})
|
||
}
|
||
|
||
// SubmitCommandResult Agent 上报命令执行结果。
|
||
func (h *AgentHandler) SubmitCommandResult(c *gin.Context) {
|
||
node, err := h.agentService.AuthenticatedNode(c.Request.Context(), extractToken(c))
|
||
if err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
id, err := strconv.ParseUint(c.Param("id"), 10, 32)
|
||
if err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
var input service.AgentCommandResult
|
||
if err := c.ShouldBindJSON(&input); err != nil {
|
||
c.JSON(stdhttp.StatusBadRequest, gin.H{"code": "INVALID_INPUT", "message": err.Error()})
|
||
return
|
||
}
|
||
if err := h.agentService.SubmitCommandResult(c.Request.Context(), node, uint(id), input); err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
response.Success(c, gin.H{"status": "ok"})
|
||
}
|
||
|
||
// GetTaskSpec Agent 拉取任务规格(含解密后的存储配置)。
|
||
func (h *AgentHandler) GetTaskSpec(c *gin.Context) {
|
||
node, err := h.agentService.AuthenticatedNode(c.Request.Context(), extractToken(c))
|
||
if err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
id, err := strconv.ParseUint(c.Param("id"), 10, 32)
|
||
if err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
spec, err := h.agentService.GetTaskSpec(c.Request.Context(), node, uint(id))
|
||
if err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
response.Success(c, spec)
|
||
}
|
||
|
||
// UpdateRecord Agent 更新备份记录(进度/完成状态/日志)。
|
||
func (h *AgentHandler) UpdateRecord(c *gin.Context) {
|
||
node, err := h.agentService.AuthenticatedNode(c.Request.Context(), extractToken(c))
|
||
if err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
id, err := strconv.ParseUint(c.Param("id"), 10, 32)
|
||
if err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
var input service.AgentRecordUpdate
|
||
if err := c.ShouldBindJSON(&input); err != nil {
|
||
c.JSON(stdhttp.StatusBadRequest, gin.H{"code": "INVALID_INPUT", "message": err.Error()})
|
||
return
|
||
}
|
||
if err := h.agentService.UpdateRecord(c.Request.Context(), node, uint(id), input); err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
response.Success(c, gin.H{"status": "ok"})
|
||
}
|
||
|
||
// GetRestoreSpec Agent 拉取恢复规格。
|
||
func (h *AgentHandler) GetRestoreSpec(c *gin.Context) {
|
||
if h.restoreService == nil {
|
||
c.JSON(stdhttp.StatusServiceUnavailable, gin.H{"code": "RESTORE_SERVICE_DISABLED", "message": "restore service is not enabled"})
|
||
return
|
||
}
|
||
node, err := h.agentService.AuthenticatedNode(c.Request.Context(), extractToken(c))
|
||
if err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
id, err := strconv.ParseUint(c.Param("id"), 10, 32)
|
||
if err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
spec, err := h.restoreService.GetAgentRestoreSpec(c.Request.Context(), node, uint(id))
|
||
if err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
response.Success(c, spec)
|
||
}
|
||
|
||
// UpdateRestore Agent 上报恢复记录的状态/日志。
|
||
func (h *AgentHandler) UpdateRestore(c *gin.Context) {
|
||
if h.restoreService == nil {
|
||
c.JSON(stdhttp.StatusServiceUnavailable, gin.H{"code": "RESTORE_SERVICE_DISABLED", "message": "restore service is not enabled"})
|
||
return
|
||
}
|
||
node, err := h.agentService.AuthenticatedNode(c.Request.Context(), extractToken(c))
|
||
if err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
id, err := strconv.ParseUint(c.Param("id"), 10, 32)
|
||
if err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
var input service.AgentRestoreUpdate
|
||
if err := c.ShouldBindJSON(&input); err != nil {
|
||
c.JSON(stdhttp.StatusBadRequest, gin.H{"code": "INVALID_INPUT", "message": err.Error()})
|
||
return
|
||
}
|
||
if err := h.restoreService.UpdateAgentRestore(c.Request.Context(), node, uint(id), input); err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
response.Success(c, gin.H{"status": "ok"})
|
||
}
|
||
|
||
// Self 返回当前 Agent token 所属节点的状态,供安装脚本末尾探活。
|
||
func (h *AgentHandler) Self(c *gin.Context) {
|
||
node, err := h.agentService.AuthenticatedNode(c.Request.Context(), extractToken(c))
|
||
if err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
status, err := h.agentService.SelfStatus(c.Request.Context(), node)
|
||
if err != nil {
|
||
response.Error(c, err)
|
||
return
|
||
}
|
||
response.Success(c, status)
|
||
}
|