mirror of
https://github.com/ucmao/media-parser.git
synced 2026-11-20 08:04:56 +08:00
240b093014
* 新增 Cookie 凭据注册表与字段校验器 - cookie_probe_records 表记录巡检历史,按平台与时间索引 - COOKIE_REGISTRY 覆盖全部 cookie_* 配置键,声明必需字段、能力门控、金丝雀与被动错误码 - 字段校验纯本地零网络,保存凭据即时反馈;被动信号统计 24h 内 Cookie 类错误占比 - build_overview 输出巡检页 overview 数据(强制度排序 + one finding) - 附自动巡检守护线程(每 6h,仅异常写记录) * 实现 Cookie 双跑对照探针 - 金丝雀链接带凭据 / 强制无 Cookie(遮蔽 cookie_manager)各解析一次 - 判定矩阵:BOTH_OK / COOKIE_GAIN / COOKIE_BROKEN / BOTH_FAILED,双跑对照区分凭据失效与样例失效 - 同平台 5 分钟防抖防风控;探针复用解析链路,不占用 worker 与限流额度 - app 挂载自动巡检守护线程(testing 环境跳过) - 单测 mock 全部解析链路不出网 * 新增管理台 Cookie 凭据巡检页与行内配置 - 凭据明细矩阵:平台/类型/来源/覆盖能力/状态/最近验证,按强制度与状态排序 - 单平台与全量双跑探针、金丝雀链接行内管理、探针失败行高亮更换入口 - 行内凭据编辑走专用 /api/cookies/credential 端点,只写目标键不重置其他设置 - 侧边栏新增「凭据巡检」入口;View Transitions 与键盘可达性打磨 * 门户首页视觉与动效升级 - IntersectionObserver + CSS 过渡批量入场(卡片错峰 0.07s),零 CDN 依赖 - GSAP + ScrollTrigger:Hero 光晕/网格视差(yPercent 30,scrub 跟手) - split-type 逐字入场(stagger 0.03s,power3.out),document.fonts.ready 后拆分 - Lenis 惯性滚动(lerp 0.1,仅此页),接管锚点定位并同步 ScrollTrigger - prefers-reduced-motion 全量降级;land-anim 钩子异常时自动解除隐藏,内容始终完整可读 * 新增 Cookie 凭据采集与同步工具 - 独立黑窗口程序:选平台→弹浏览器人工登录→自动抓取→字段校验→选去向 - 平台菜单由 COOKIE_REGISTRY 驱动,必需字段齐备自动判定登录成功;登录态持久化免重复扫码 - 去向四选一:写本地库 / 打印 / export 环境变量 / 一键推送远程后台(登录+CSRF+credential 接口全自动) - 抖音特例:网络请求与 localStorage 双路嗅探 UIFID(实况动轨) * 采集工具加双击即用的 bat 启动器 - 免重定向写法,规避个别环境下 >/dev/null 失效的兼容问题 - 自动探测 python/py 启动器并拦截微软商店占位程序 - 首次运行自建独立 venv(data/.venv_collector)并装 playwright+chromium,不污染系统 Python - 参数原样透传采集器(-p 平台 / --push 服务器 / --print / --env) * bat 启动器加同目录校验,复制到别处运行时给出明确提示 * bat 启动器改 GBK 原生编码并加依赖自愈 - 中文 Windows 原生 cp936 编码,规避 UTF-8 批处理在 cmd 下的字节偏移解析问题 - 依赖自愈:venv 已存在但缺 playwright/requests/flask 时自动补装,旧环境无需删除重建 - 同目录校验与错误提示完善 * bat 依赖清单补 tzdata,修复采集 venv 缺时区数据导致 src.db 导入失败 * 部署能力升级:端口可配置与前端资产本地化 - WEB_PORT 环境变量贯通 dev 启动/gunicorn 绑定/compose 映射与健康检查,默认 8051 不变 - Tailwind/GSAP/ScrollTrigger/split-type/lenis 全部本地化到 static/vendor,页面零外网 CDN 依赖 - .dockerignore 排除 data/logs/报告/测试集/scripts 等本地目录,杜绝凭据入库镜像 - .gitattributes 固定 sh/py 的 LF 行尾,Dockerfile 加 CRLF 兜底修正 - compose 增加 image: 引用,支持 docker load 离线镜像直接起服
105 lines
4.1 KiB
Python
Executable File
105 lines
4.1 KiB
Python
Executable File
import os
|
|
import secrets
|
|
import fcntl
|
|
from datetime import timedelta
|
|
from flask import Flask
|
|
from flask_cors import CORS
|
|
from src.api.parse import bp as api_bp
|
|
from src.web.views import bp as web_bp
|
|
from src.auth import bp as auth_bp, register_template_helpers
|
|
from src.web.portal import bp as portal_bp
|
|
from src.web.admin import bp as admin_bp
|
|
from src.db import init_app as init_database
|
|
from src.utils.proxy_manager import ProxyManager
|
|
from configs.logging_config import get_logger
|
|
|
|
logger = get_logger(__name__)
|
|
|
|
|
|
def _load_or_create_secret(data_dir):
|
|
"""为零配置部署生成可持久化的随机会话密钥。"""
|
|
secret_path = os.path.join(data_dir, ".secret_key")
|
|
try:
|
|
descriptor = os.open(secret_path, os.O_RDWR | os.O_CREAT, 0o600)
|
|
with os.fdopen(descriptor, "r+", encoding="utf-8") as secret_file:
|
|
fcntl.flock(secret_file.fileno(), fcntl.LOCK_EX)
|
|
saved = secret_file.read().strip()
|
|
if saved:
|
|
return saved
|
|
generated = secrets.token_hex(32)
|
|
secret_file.seek(0)
|
|
secret_file.write(generated)
|
|
secret_file.flush()
|
|
os.fsync(secret_file.fileno())
|
|
return generated
|
|
except (PermissionError, OSError) as e:
|
|
logger.warning(f"无法读写密钥文件 {secret_path},使用临时随机会话密钥: {e}")
|
|
return secrets.token_hex(32)
|
|
|
|
|
|
def create_app(config=None):
|
|
"""应用工厂函数"""
|
|
data_dir = os.path.join(os.path.abspath(os.path.dirname(__file__)), 'data')
|
|
app = Flask(__name__, instance_path=data_dir, template_folder='templates', static_folder='static')
|
|
app.config['SECRET_KEY'] = os.getenv('SECRET_KEY') or None
|
|
app.config['DATABASE'] = os.getenv(
|
|
'DATABASE_PATH', os.path.join(app.instance_path, 'media_parser.db')
|
|
)
|
|
proxy_url = (os.getenv('DYNAMIC_PROXY_API_URL') or os.getenv('JULIANG_PROXY_API_URL') or '').strip()
|
|
app.config['DYNAMIC_PROXY_API_URL'] = proxy_url
|
|
app.config['JULIANG_PROXY_API_URL'] = proxy_url
|
|
app.config['MAX_CONTENT_LENGTH'] = 32 * 1024
|
|
app.config['PERMANENT_SESSION_LIFETIME'] = timedelta(days=30)
|
|
app.config['JSON_SORT_KEYS'] = False
|
|
app.config['TRUST_PROXY_HEADERS'] = os.getenv(
|
|
'TRUST_PROXY_HEADERS', ''
|
|
).strip().lower() in {'1', 'true', 'yes', 'on'}
|
|
app.config['API_ONLY'] = os.getenv(
|
|
'API_ONLY', ''
|
|
).strip().lower() in {'1', 'true', 'yes', 'on'}
|
|
if hasattr(app, 'json'):
|
|
app.json.sort_keys = False
|
|
if config:
|
|
app.config.update(config)
|
|
|
|
database_dir = os.path.dirname(app.config['DATABASE'])
|
|
if database_dir:
|
|
os.makedirs(database_dir, exist_ok=True)
|
|
if not app.config.get('SECRET_KEY'):
|
|
app.config['SECRET_KEY'] = _load_or_create_secret(database_dir or app.instance_path)
|
|
init_database(app)
|
|
manager = ProxyManager(app.config["DATABASE"], app.config["DYNAMIC_PROXY_API_URL"])
|
|
app.extensions["proxy_manager"] = manager
|
|
if not app.testing:
|
|
manager.start()
|
|
from src.utils.cookie_registry import start_auto_inspector
|
|
start_auto_inspector()
|
|
|
|
# 跨域配置(仅对 /api/* 接口开放,默认允许所有来源,支持通过环境变量 CORS_ORIGINS 自定义)
|
|
cors_origins_raw = (os.getenv('CORS_ORIGINS') or '*').strip()
|
|
cors_origins = '*' if cors_origins_raw == '*' else [
|
|
origin.strip() for origin in cors_origins_raw.split(',') if origin.strip()
|
|
]
|
|
CORS(app, resources={r"/api/*": {"origins": cors_origins}})
|
|
|
|
# 注册蓝图
|
|
app.register_blueprint(api_bp, url_prefix='/api')
|
|
if not app.config.get('API_ONLY'):
|
|
register_template_helpers(app)
|
|
app.register_blueprint(web_bp)
|
|
app.register_blueprint(auth_bp)
|
|
app.register_blueprint(portal_bp)
|
|
app.register_blueprint(admin_bp)
|
|
|
|
if app.config.get('TRUST_PROXY_HEADERS'):
|
|
from werkzeug.middleware.proxy_fix import ProxyFix
|
|
app.wsgi_app = ProxyFix(app.wsgi_app, x_for=1, x_proto=1, x_host=1, x_prefix=1)
|
|
|
|
return app
|
|
|
|
|
|
app = create_app()
|
|
|
|
if __name__ == '__main__':
|
|
app.run(host='0.0.0.0', port=int(os.getenv('WEB_PORT', '8051')))
|