Files
media-parser/docs/proxy-retry.md
T

4.5 KiB
Raw Blame History

动态代理配置说明

配置与部署

在部署目录的 .env 中设置 DYNAMIC_PROXY_API_URL 为动态代理 API 提取链接。系统内置智能通用解包器,原生兼容 芝麻代理、巨量 IP、青果网络、无忧代理、多米代理 等主流代理服务商,支持任意返回 JSON 结构 或 IP:端口 纯文本 的 API 提取链接:

  • 巨量 IP 提取链接:在后台生成时保留 num=1&pt=1&result_type=json2&ip_remain=1;
  • 芝麻 / 青果 / 无忧 / 多米等:在服务商后台生成返回 JSON 格式或直接返回 1.2.3.4:8080 纯文本的提取链接均可直接填入;
  • Docker Compose 自动透传;直接运行 Gunicorn/Python 时需要将该变量导出到进程环境。留空保持原有直连解析,不启用代理重试。
docker compose up -d --build

使用原有 SQLite 数据库和 data 卷,无需新增服务。启动时自动创建代理状态表;多个 Gunicorn 进程共享平台窗口、库存、失效记录及提取租约。本实现面向单容器多进程,不适用于多服务器分别使用独立数据库的部署。

平台切换与重试

  • 正常直连成功不提取代理。最终解析结果需要 Cookie 或 Cookie 失效时,为该平台开启固定 900 秒代理窗口,并立即重试当前分享链接。
  • 同平台短链、页面、API、备用路径全部遵守该窗口;其他平台继续直连。重复 Cookie 失败不延长窗口,到期后的新解析恢复直连;进行中的代理尝试可继续完成。
  • 换 IP 时重新展开原始分享链接、创建解析器和会话,避免旧缓存或临时 Cookie 影响新尝试。用户配置的 Cookie 仍然生效。
  • 每次解析最多使用 3 个不同 IP,前台最多调用 3 次提取接口,包含直连和重试的总预算为 90 秒。每次网络调用受剩余预算限制,预算耗尽后不再发起请求。
  • 网络异常、代理失效、HTTP 401/403/407/429/5xx、登录/验证码跳转或仍需 Cookie 会剔除 IP。正常响应但无媒体不单独判定为坏代理;明确删除、私密、纯文本内容不换 IP。
  • 支持多路径降级机制的平台(如快手等),在直连模式下仍允许早期路径被拦截后由其他备用路径成功,只有最终全部失败才切换代理平台。代理模式检测到访问失败时结束当前 IP 的尝试。
  • 内部重试不重复预扣积分、消耗平台限流次数或写入请求日志。最终失败按原规则退款。

库存和有效期

供应商响应按 code == 200、data.proxy_list[0].ip/port/ip_remain 解析。surplus_quantity == 0 不代表提取失败。ip_remain 是剩余秒数,到期时间采用提取请求开始时间加该值,保守扣除网络耗时。

首次触发同步取一个主用 IP,同时唤醒后台维护补充备用。最多保留两个可分配地址,剩余不足 20 秒提前退休并补充,低于 10 秒不再分配。已退休但未失效的地址可供正在进行的尝试继续使用至到期。无活跃代理窗口和进行中的代理尝试时停止提取。

剔除状态立即跨进程可见,并保留到原有效期结束;供应商重复返回相同地址不复活坏 IP,也不延长旧 IP 的寿命。已在网络中的请求无法撤回,但其后续请求会被阻止。

提取接口直连,所有进程共享每秒最多一次的提取限流。提取租约过期后可接管,网络请求不占用数据库事务;供应商失败按 1、2、4、8、15 秒退避。进程重启读取尚未到期的共享窗口,后台继续维护库存。

提前储备不能消除供应商中断:取不到有效 IP 时返回错误,窗口期间不偷偷退回直连。

错误与排查

HTTP error_code 含义
503 PROXY_UNAVAILABLE 无有效库存且提取额度内未能获取代理
504 PARSE_TIMEOUT 总解析预算耗尽
502 PROXY_RETRY_EXHAUSTED 三个 IP 均访问失败
400 平台原有 *_COOKIE_REQUIRED 更换代理后仍需 Cookie

成功响应字段保持不变。日志记录平台切换/恢复、提取结果、代理剔除原因和重试次数,不输出提取链接的签名参数。

验证命令:

.venv/bin/python -m pytest -q tests/test_proxy_retry.py tests/test_parser_transport.py tests/test_kuaishou_parser.py
.venv/bin/python -m pytest -q

依据:src/api/parse.py、src/utils/proxy_manager.py、src/utils/parser_transport.py、src/parsers/kuaishou_parser.py;巨量接口文档及用户提供的 json2 响应。