fix(monitor,transfer): 修复 FUSE 挂载无响应导致的监控冻死、整理链锁死与漏件 (#6276)

* wip(v3): 移植监控与整理韧性修复到 v3 基线

包含:监控看门狗隔离/挂载探测、整理队列持久化、文件系统子进程代理、
写入原子化。迁移重挂到 v3 链 8a4c7e1d2f90 -> 7f5c1d2e3a4b -> e3d9f4b7c806。
tmdb 相关测试尚未通过,待定位。

* fix(v3): 修正移植引入的 16 项测试失败

- poller.py:合并时我方保留的行仍用旧变量名 merged_snapshot,而 v3 已统一
  改名为 current_snapshot,导致 NameError 被外层 except 吞掉、快照从未保存
- smb.py:采纳 f-string 拆分写法,恢复 Python 3.11 可解析
- dispatcher 测试:历史查重由 _should_skip_by_history 统一承担,mock 点随之调整
- tmdb 缓存测试:补充 v3 新增的 media_source/media_id 字段
- tmdb 重试测试:为 fake 补充 match_multi/async_match_multi

尚余 3 项与 v3 识别流程的连接失败处理有关,待单独判断。

* fix(v3): 测试适配 v3 的 media_source/media_id 重构

v3 将媒体标识从 tmdbid 统一重构为 media_source + media_id,recognize_media
的 tmdbid 参数已被 **kwargs 静默吞掉——传了也不生效,流程会误降级到名称搜索。
tmdb 重试用例改用新参数后恢复正确路径。

同时修正 fake 的 match_multi 语义:真实实现(tmdbapi.match_multi)吞掉所有
异常并返回 None,连接失败与「未找到」在该路径上本就不可区分,fake 需保持一致。

至此移植引入的 19 项失败全部清零。

---------

Co-authored-by: Aqr-K <Aqr-K@users.noreply.github.com>
This commit is contained in:
Aqr-K
2026-08-13 08:19:54 +08:00
committed by GitHub
co-authored by Aqr-K
parent 4d11a38496
commit a2e70b443d
62 changed files with 7889 additions and 360 deletions
+51 -5
View File
@@ -27,7 +27,7 @@ class TransferHistory(Base):
# 源路径
src = Column(String, index=True)
# 源存储
src_storage = Column(String)
src_storage = Column(String, nullable=False, default="local")
# 源文件项
src_fileitem = Column(JSON, default=dict)
# 目标路径
@@ -89,6 +89,7 @@ class TransferHistory(Base):
Index('ix_transferhistory_status_date', 'status', 'date'),
Index('ix_transferhistory_date_id', 'date', 'id'),
Index('ix_transferhistory_media_identity', 'media_source', 'media_id'),
Index('ux_transferhistory_src_storage', 'src', 'src_storage', unique=True),
)
@classmethod
@@ -207,10 +208,30 @@ class TransferHistory(Base):
:return: 命中的整理记录,未命中时返回 None
"""
if storage:
return db.query(cls).filter(cls.src == src,
cls.src_storage == storage).first()
query = db.query(cls).filter(cls.src == src, cls.src_storage == storage)
else:
return db.query(cls).filter(cls.src == src).first()
query = db.query(cls).filter(cls.src == src)
return query.order_by(cls.id.desc()).first()
@classmethod
@db_query
def get_success_by_src(
cls, db: Session, src: str, storage: Optional[str] = None
) -> Optional["TransferHistory"]:
"""
按源路径和存储查询成功的整理记录,源路径原样精确匹配。
与 list_success_by_src 不同,这里不对源路径做归一化,蓝光原盘目录记录
带尾斜杠,归一化后反而匹配不到。
:param db: 数据库会话
:param src: 源路径
:param storage: 源存储类型
:return: 命中的成功整理记录,未命中时返回 None
"""
query = db.query(cls).filter(cls.src == src, cls.status.is_(True))
if storage:
query = query.filter(cls.src_storage == storage)
return query.order_by(cls.id.desc()).first()
@classmethod
@db_query
@@ -228,7 +249,7 @@ class TransferHistory(Base):
query = db.query(cls).filter(cls.dest == dest)
if storage:
query = query.filter(cls.dest_storage == storage)
return query.first()
return query.order_by(cls.id.desc()).first()
@classmethod
@db_query
@@ -565,6 +586,31 @@ class TransferHistory(Base):
}
)
@classmethod
@db_update
def replace_by_src(cls, db: Session, **kwargs) -> "TransferHistory":
"""
用同源存储的新记录原子替换旧整理历史。
同一源路径在一个存储中只能对应一条最新整理记录。先在同一事务内清理旧行再
插入,避免旧的“查询一条再删除一条”在遗留重复数据下留下脏记录。
:param db: 数据库会话
:param kwargs: 整理历史字段
:return: 新创建的整理历史
"""
src = kwargs.get("src")
src_storage = kwargs.get("src_storage") or "local"
kwargs["src_storage"] = src_storage
if src:
db.query(cls).filter(
cls.src == src,
cls.src_storage == src_storage,
).delete(synchronize_session=False)
history = cls(**kwargs)
db.add(history)
db.flush()
return history
@classmethod
@db_query
def list_by_date(cls, db: Session, date: str):