Files
media-parser/app.py
T
Sun 240b093014 Test/cookie inspection (#31)
* 新增 Cookie 凭据注册表与字段校验器

- cookie_probe_records 表记录巡检历史,按平台与时间索引
- COOKIE_REGISTRY 覆盖全部 cookie_* 配置键,声明必需字段、能力门控、金丝雀与被动错误码
- 字段校验纯本地零网络,保存凭据即时反馈;被动信号统计 24h 内 Cookie 类错误占比
- build_overview 输出巡检页 overview 数据(强制度排序 + one finding)
- 附自动巡检守护线程(每 6h,仅异常写记录)

* 实现 Cookie 双跑对照探针

- 金丝雀链接带凭据 / 强制无 Cookie(遮蔽 cookie_manager)各解析一次
- 判定矩阵:BOTH_OK / COOKIE_GAIN / COOKIE_BROKEN / BOTH_FAILED,双跑对照区分凭据失效与样例失效
- 同平台 5 分钟防抖防风控;探针复用解析链路,不占用 worker 与限流额度
- app 挂载自动巡检守护线程(testing 环境跳过)
- 单测 mock 全部解析链路不出网

* 新增管理台 Cookie 凭据巡检页与行内配置

- 凭据明细矩阵:平台/类型/来源/覆盖能力/状态/最近验证,按强制度与状态排序
- 单平台与全量双跑探针、金丝雀链接行内管理、探针失败行高亮更换入口
- 行内凭据编辑走专用 /api/cookies/credential 端点,只写目标键不重置其他设置
- 侧边栏新增「凭据巡检」入口;View Transitions 与键盘可达性打磨

* 门户首页视觉与动效升级

- IntersectionObserver + CSS 过渡批量入场(卡片错峰 0.07s),零 CDN 依赖
- GSAP + ScrollTrigger:Hero 光晕/网格视差(yPercent 30,scrub 跟手)
- split-type 逐字入场(stagger 0.03s,power3.out),document.fonts.ready 后拆分
- Lenis 惯性滚动(lerp 0.1,仅此页),接管锚点定位并同步 ScrollTrigger
- prefers-reduced-motion 全量降级;land-anim 钩子异常时自动解除隐藏,内容始终完整可读

* 新增 Cookie 凭据采集与同步工具

- 独立黑窗口程序:选平台→弹浏览器人工登录→自动抓取→字段校验→选去向
- 平台菜单由 COOKIE_REGISTRY 驱动,必需字段齐备自动判定登录成功;登录态持久化免重复扫码
- 去向四选一:写本地库 / 打印 / export 环境变量 / 一键推送远程后台(登录+CSRF+credential 接口全自动)
- 抖音特例:网络请求与 localStorage 双路嗅探 UIFID(实况动轨)

* 采集工具加双击即用的 bat 启动器

- 免重定向写法,规避个别环境下 >/dev/null 失效的兼容问题
- 自动探测 python/py 启动器并拦截微软商店占位程序
- 首次运行自建独立 venv(data/.venv_collector)并装 playwright+chromium,不污染系统 Python
- 参数原样透传采集器(-p 平台 / --push 服务器 / --print / --env)

* bat 启动器加同目录校验,复制到别处运行时给出明确提示

* bat 启动器改 GBK 原生编码并加依赖自愈

- 中文 Windows 原生 cp936 编码,规避 UTF-8 批处理在 cmd 下的字节偏移解析问题
- 依赖自愈:venv 已存在但缺 playwright/requests/flask 时自动补装,旧环境无需删除重建
- 同目录校验与错误提示完善

* bat 依赖清单补 tzdata,修复采集 venv 缺时区数据导致 src.db 导入失败

* 部署能力升级:端口可配置与前端资产本地化

- WEB_PORT 环境变量贯通 dev 启动/gunicorn 绑定/compose 映射与健康检查,默认 8051 不变
- Tailwind/GSAP/ScrollTrigger/split-type/lenis 全部本地化到 static/vendor,页面零外网 CDN 依赖
- .dockerignore 排除 data/logs/报告/测试集/scripts 等本地目录,杜绝凭据入库镜像
- .gitattributes 固定 sh/py 的 LF 行尾,Dockerfile 加 CRLF 兜底修正
- compose 增加 image: 引用,支持 docker load 离线镜像直接起服
2026-10-29 20:07:30 +08:00

105 lines
4.1 KiB
Python
Executable File

import os
import secrets
import fcntl
from datetime import timedelta
from flask import Flask
from flask_cors import CORS
from src.api.parse import bp as api_bp
from src.web.views import bp as web_bp
from src.auth import bp as auth_bp, register_template_helpers
from src.web.portal import bp as portal_bp
from src.web.admin import bp as admin_bp
from src.db import init_app as init_database
from src.utils.proxy_manager import ProxyManager
from configs.logging_config import get_logger
logger = get_logger(__name__)
def _load_or_create_secret(data_dir):
"""为零配置部署生成可持久化的随机会话密钥。"""
secret_path = os.path.join(data_dir, ".secret_key")
try:
descriptor = os.open(secret_path, os.O_RDWR | os.O_CREAT, 0o600)
with os.fdopen(descriptor, "r+", encoding="utf-8") as secret_file:
fcntl.flock(secret_file.fileno(), fcntl.LOCK_EX)
saved = secret_file.read().strip()
if saved:
return saved
generated = secrets.token_hex(32)
secret_file.seek(0)
secret_file.write(generated)
secret_file.flush()
os.fsync(secret_file.fileno())
return generated
except (PermissionError, OSError) as e:
logger.warning(f"无法读写密钥文件 {secret_path},使用临时随机会话密钥: {e}")
return secrets.token_hex(32)
def create_app(config=None):
"""应用工厂函数"""
data_dir = os.path.join(os.path.abspath(os.path.dirname(__file__)), 'data')
app = Flask(__name__, instance_path=data_dir, template_folder='templates', static_folder='static')
app.config['SECRET_KEY'] = os.getenv('SECRET_KEY') or None
app.config['DATABASE'] = os.getenv(
'DATABASE_PATH', os.path.join(app.instance_path, 'media_parser.db')
)
proxy_url = (os.getenv('DYNAMIC_PROXY_API_URL') or os.getenv('JULIANG_PROXY_API_URL') or '').strip()
app.config['DYNAMIC_PROXY_API_URL'] = proxy_url
app.config['JULIANG_PROXY_API_URL'] = proxy_url
app.config['MAX_CONTENT_LENGTH'] = 32 * 1024
app.config['PERMANENT_SESSION_LIFETIME'] = timedelta(days=30)
app.config['JSON_SORT_KEYS'] = False
app.config['TRUST_PROXY_HEADERS'] = os.getenv(
'TRUST_PROXY_HEADERS', ''
).strip().lower() in {'1', 'true', 'yes', 'on'}
app.config['API_ONLY'] = os.getenv(
'API_ONLY', ''
).strip().lower() in {'1', 'true', 'yes', 'on'}
if hasattr(app, 'json'):
app.json.sort_keys = False
if config:
app.config.update(config)
database_dir = os.path.dirname(app.config['DATABASE'])
if database_dir:
os.makedirs(database_dir, exist_ok=True)
if not app.config.get('SECRET_KEY'):
app.config['SECRET_KEY'] = _load_or_create_secret(database_dir or app.instance_path)
init_database(app)
manager = ProxyManager(app.config["DATABASE"], app.config["DYNAMIC_PROXY_API_URL"])
app.extensions["proxy_manager"] = manager
if not app.testing:
manager.start()
from src.utils.cookie_registry import start_auto_inspector
start_auto_inspector()
# 跨域配置(仅对 /api/* 接口开放,默认允许所有来源,支持通过环境变量 CORS_ORIGINS 自定义)
cors_origins_raw = (os.getenv('CORS_ORIGINS') or '*').strip()
cors_origins = '*' if cors_origins_raw == '*' else [
origin.strip() for origin in cors_origins_raw.split(',') if origin.strip()
]
CORS(app, resources={r"/api/*": {"origins": cors_origins}})
# 注册蓝图
app.register_blueprint(api_bp, url_prefix='/api')
if not app.config.get('API_ONLY'):
register_template_helpers(app)
app.register_blueprint(web_bp)
app.register_blueprint(auth_bp)
app.register_blueprint(portal_bp)
app.register_blueprint(admin_bp)
if app.config.get('TRUST_PROXY_HEADERS'):
from werkzeug.middleware.proxy_fix import ProxyFix
app.wsgi_app = ProxyFix(app.wsgi_app, x_for=1, x_proto=1, x_host=1, x_prefix=1)
return app
app = create_app()
if __name__ == '__main__':
app.run(host='0.0.0.0', port=int(os.getenv('WEB_PORT', '8051')))