mirror of
https://github.com/jxxghp/MoviePilot.git
synced 2026-08-16 19:53:57 +08:00
a2e70b443d
* wip(v3): 移植监控与整理韧性修复到 v3 基线 包含：监控看门狗隔离/挂载探测、整理队列持久化、文件系统子进程代理、 写入原子化。迁移重挂到 v3 链 8a4c7e1d2f90 -> 7f5c1d2e3a4b -> e3d9f4b7c806。 tmdb 相关测试尚未通过，待定位。 * fix(v3): 修正移植引入的 16 项测试失败 - poller.py：合并时我方保留的行仍用旧变量名 merged_snapshot，而 v3 已统一 改名为 current_snapshot，导致 NameError 被外层 except 吞掉、快照从未保存 - smb.py：采纳 f-string 拆分写法，恢复 Python 3.11 可解析 - dispatcher 测试：历史查重由 _should_skip_by_history 统一承担，mock 点随之调整 - tmdb 缓存测试：补充 v3 新增的 media_source/media_id 字段 - tmdb 重试测试：为 fake 补充 match_multi/async_match_multi 尚余 3 项与 v3 识别流程的连接失败处理有关，待单独判断。 * fix(v3): 测试适配 v3 的 media_source/media_id 重构 v3 将媒体标识从 tmdbid 统一重构为 media_source + media_id，recognize_media 的 tmdbid 参数已被 **kwargs 静默吞掉——传了也不生效，流程会误降级到名称搜索。 tmdb 重试用例改用新参数后恢复正确路径。 同时修正 fake 的 match_multi 语义：真实实现（tmdbapi.match_multi）吞掉所有 异常并返回 None，连接失败与「未找到」在该路径上本就不可区分，fake 需保持一致。 至此移植引入的 19 项失败全部清零。 --------- Co-authored-by: Aqr-K <Aqr-K@users.noreply.github.com>
103 lines
3.5 KiB
Python
103 lines
3.5 KiB
Python
from typing import List, Optional
|
||
|
||
from sqlalchemy import Column, Index, String
|
||
from sqlalchemy.orm import Session
|
||
|
||
from app.db import Base, db_query, db_update, get_id_column
|
||
|
||
|
||
class TransferPending(Base):
|
||
"""
|
||
待整理文件登记。
|
||
|
||
整理队列是纯内存的 queue.Queue：进程一旦重启（挂载挂死后的人工重启、版本
|
||
升级、OOM、宿主重启），队列里的任务会连同「这些文件还没整理」这个事实一起
|
||
蒸发。而已经稳定落地的文件不会再产生任何监控事件，也不会有新的补偿扫描起点
|
||
——结果就是永久漏件，只能靠人工比对补整理。
|
||
|
||
这里只落盘最小事实：存储与源文件路径。重启后重新走一遍整理入口，由整理历史
|
||
查重挡掉已经完成的，因此不需要序列化 meta/mediainfo 这些重对象，也不存在
|
||
识别结果陈旧的问题。
|
||
"""
|
||
|
||
id = get_id_column()
|
||
# 存储
|
||
storage = Column(String, nullable=False)
|
||
# 源文件路径
|
||
src_path = Column(String, nullable=False)
|
||
# 登记时间
|
||
created_at = Column(String)
|
||
|
||
__table_args__ = (
|
||
# 同一个文件重复入队只保留一条，回放时不会重复送入整理链
|
||
Index("ux_transferpending_storage_path", "storage", "src_path", unique=True),
|
||
)
|
||
|
||
@classmethod
|
||
@db_update
|
||
def register(cls, db: Session, storage: str, src_path: str,
|
||
now_time: str) -> Optional["TransferPending"]:
|
||
"""
|
||
登记一个待整理文件，已存在时保持原登记时间不变。
|
||
:param db: 数据库会话
|
||
:param storage: 存储
|
||
:param src_path: 源文件路径
|
||
:param now_time: 当前时间
|
||
:return: 登记记录
|
||
"""
|
||
if not storage or not src_path:
|
||
return None
|
||
pending = db.query(cls).filter(
|
||
cls.storage == storage, cls.src_path == src_path
|
||
).first()
|
||
if pending:
|
||
return pending
|
||
pending = cls(storage=storage, src_path=src_path, created_at=now_time)
|
||
db.add(pending)
|
||
return pending
|
||
|
||
@classmethod
|
||
@db_update
|
||
def discard(cls, db: Session, storage: str, src_path: str) -> int:
|
||
"""
|
||
注销一个待整理文件登记，整理到达终态（成功或失败）时调用。
|
||
:param db: 数据库会话
|
||
:param storage: 存储
|
||
:param src_path: 源文件路径
|
||
:return: 删除的记录数
|
||
"""
|
||
if not storage or not src_path:
|
||
return 0
|
||
return db.query(cls).filter(
|
||
cls.storage == storage, cls.src_path == src_path
|
||
).delete(synchronize_session=False)
|
||
|
||
@classmethod
|
||
@db_query
|
||
def list_all(cls, db: Session, limit: Optional[int] = 5000) -> List["TransferPending"]:
|
||
"""
|
||
列出全部待整理登记，供启动回放使用。
|
||
|
||
按登记时间升序回放，保持与原入队顺序一致；上限避免异常积压时
|
||
一次性把整理链压垮。
|
||
:param db: 数据库会话
|
||
:param limit: 单次回放上限
|
||
:return: 待整理登记列表
|
||
"""
|
||
return (
|
||
db.query(cls)
|
||
.order_by(cls.created_at.asc(), cls.id.asc())
|
||
.limit(limit)
|
||
.all()
|
||
)
|
||
|
||
@classmethod
|
||
@db_update
|
||
def clear(cls, db: Session) -> int:
|
||
"""
|
||
清空全部待整理登记。
|
||
:param db: 数据库会话
|
||
:return: 删除的记录数
|
||
"""
|
||
return db.query(cls).delete(synchronize_session=False)
|