4.5 KiB
动态代理配置说明
配置与部署
在部署目录的 .env 中设置 DYNAMIC_PROXY_API_URL 为动态代理 API 提取链接。系统内置智能通用解包器,原生兼容 芝麻代理、巨量 IP、青果网络、无忧代理、多米代理 等主流代理服务商,支持任意返回 JSON 结构 或 IP:端口 纯文本 的 API 提取链接:
- 巨量 IP 提取链接:在后台生成时保留
num=1&pt=1&result_type=json2&ip_remain=1; - 芝麻 / 青果 / 无忧 / 多米等:在服务商后台生成返回 JSON 格式或直接返回
1.2.3.4:8080纯文本的提取链接均可直接填入; - Docker Compose 自动透传;直接运行 Gunicorn/Python 时需要将该变量导出到进程环境。留空保持原有直连解析,不启用代理重试。
docker compose up -d --build
使用原有 SQLite 数据库和 data 卷,无需新增服务。启动时自动创建代理状态表;多个 Gunicorn 进程共享平台窗口、库存、失效记录及提取租约。本实现面向单容器多进程,不适用于多服务器分别使用独立数据库的部署。
平台切换与重试
- 正常直连成功不提取代理。最终解析结果需要 Cookie 或 Cookie 失效时,为该平台开启固定 900 秒代理窗口,并立即重试当前分享链接。
- 同平台短链、页面、API、备用路径全部遵守该窗口;其他平台继续直连。重复 Cookie 失败不延长窗口,到期后的新解析恢复直连;进行中的代理尝试可继续完成。
- 换 IP 时重新展开原始分享链接、创建解析器和会话,避免旧缓存或临时 Cookie 影响新尝试。用户配置的 Cookie 仍然生效。
- 每次解析最多使用 3 个不同 IP,前台最多调用 3 次提取接口,包含直连和重试的总预算为 90 秒。每次网络调用受剩余预算限制,预算耗尽后不再发起请求。
- 网络异常、代理失效、HTTP 401/403/407/429/5xx、登录/验证码跳转或仍需 Cookie 会剔除 IP。正常响应但无媒体不单独判定为坏代理;明确删除、私密、纯文本内容不换 IP。
- 支持多路径降级机制的平台(如快手等),在直连模式下仍允许早期路径被拦截后由其他备用路径成功,只有最终全部失败才切换代理平台。代理模式检测到访问失败时结束当前 IP 的尝试。
- 内部重试不重复预扣积分、消耗平台限流次数或写入请求日志。最终失败按原规则退款。
库存和有效期
供应商响应按 code == 200、data.proxy_list[0].ip/port/ip_remain 解析。surplus_quantity == 0 不代表提取失败。ip_remain 是剩余秒数,到期时间采用提取请求开始时间加该值,保守扣除网络耗时。
首次触发同步取一个主用 IP,同时唤醒后台维护补充备用。最多保留两个可分配地址,剩余不足 20 秒提前退休并补充,低于 10 秒不再分配。已退休但未失效的地址可供正在进行的尝试继续使用至到期。无活跃代理窗口和进行中的代理尝试时停止提取。
剔除状态立即跨进程可见,并保留到原有效期结束;供应商重复返回相同地址不复活坏 IP,也不延长旧 IP 的寿命。已在网络中的请求无法撤回,但其后续请求会被阻止。
提取接口直连,所有进程共享每秒最多一次的提取限流。提取租约过期后可接管,网络请求不占用数据库事务;供应商失败按 1、2、4、8、15 秒退避。进程重启读取尚未到期的共享窗口,后台继续维护库存。
提前储备不能消除供应商中断:取不到有效 IP 时返回错误,窗口期间不偷偷退回直连。
错误与排查
| HTTP | error_code | 含义 |
|---|---|---|
| 503 | PROXY_UNAVAILABLE |
无有效库存且提取额度内未能获取代理 |
| 504 | PARSE_TIMEOUT |
总解析预算耗尽 |
| 502 | PROXY_RETRY_EXHAUSTED |
三个 IP 均访问失败 |
| 400 | 平台原有 *_COOKIE_REQUIRED |
更换代理后仍需 Cookie |
成功响应字段保持不变。日志记录平台切换/恢复、提取结果、代理剔除原因和重试次数,不输出提取链接的签名参数。
验证命令:
.venv/bin/python -m pytest -q tests/test_proxy_retry.py tests/test_parser_transport.py tests/test_kuaishou_parser.py
.venv/bin/python -m pytest -q
依据:src/api/parse.py、src/utils/proxy_manager.py、src/utils/parser_transport.py、src/parsers/kuaishou_parser.py;巨量接口文档及用户提供的 json2 响应。