feat: 增强平台解析容错并完善相关文档

This commit is contained in:
ucmao
2026-11-18 22:00:19 +08:00
parent f32496cc37
commit 51f43e32c0
13 changed files with 365 additions and 61 deletions
+1 -1
View File
@@ -1,7 +1,7 @@
> [!IMPORTANT]
> **即将维护公告**
>
> 综合考虑个人维护成本、平台规则和内容授权风险,Media-Parser 即将停止维护,预计于 **2026 年 12 月 1 日前**移除大部分平台解析源码及相关操作指南。需要留存当前版本的开发者,欢迎尽快 **Fork**。如果项目曾帮到你,也欢迎点个 **Star**,一起冲 **512 星** ⭐。想继续交流,欢迎扫描下方二维码加微信,备注 `media-parser` 入群。请遵守适用法律及各平台规则,仅处理自有或已获授权的内容,并尊重平台访问限制和权利人的技术保护措施。
> 综合考虑个人维护成本、平台规则和内容授权风险,Media-Parser 即将停止维护,预计于 **2027 年 1 月 1 日前**移除大部分平台解析源码及相关操作指南。需要留存当前版本的开发者,欢迎尽快 **Fork**。如果项目曾帮到你,也欢迎点个 **Star**,一起冲 **512 星** ⭐。想继续交流,欢迎扫描下方二维码加微信,备注 `media-parser` 入群。请遵守适用法律及各平台规则,仅处理自有或已获授权的内容,并尊重平台访问限制和权利人的技术保护措施。
<div align="center">
<img src="static/images/logo.png" width="360" height="auto" alt="Media-Parser Logo">
+2 -1
View File
@@ -136,8 +136,9 @@ curl -X POST "http://localhost:5000/api/v1/parse" \
| `retcode` | `error_code` | `retdesc` 描述 | 说明与处理建议 |
| :---: | :--- | :--- | :--- |
| **400** | `MEDIA_DELETED_OR_PRIVATE` | `因作品权限或已被删除,无法观看...` | 作品已被作者删除、设置为仅自己可见、朋友可见或日常权限限制(终态不可重试) |
| **400** | `MEDIA_UNDER_REVIEW` | `该作品刚发布,正在抖音审核中,暂时无法查看,请几分钟后重试` | 抖音作品刚发布(2 小时内)仍处于审核期,接口返回仅自己可见;稍后重试通常即可成功 |
| **400** | `NO_MEDIA_IN_CONTENT` | `该分享内容仅包含文本对话,未包含图片或视频资源` | 豆包等 AI 对话分享仅有文字问答,无多媒体附件 |
| **400** | `XIAOHONGSHU_COOKIE_REQUIRED` | `解析失败:该链接需要小红书登录 Cookie 校验...` | 小红书触发安全反爬校验,需在环境配置有效 Cookie |
| **400** | `XIAOHONGSHU_COOKIE_REQUIRED` | `解析失败:该链接需要小红书登录 Cookie 校验...` | 小红书触发安全反爬校验(含 `/404/sec_*`、`error_code=300031`「当前笔记暂时无法浏览」风控页),需更新有效 Cookie 或稍后重试 |
| **400** | `PINDUODUO_COOKIE_REQUIRED` | `解析失败:该链接需要拼多多登录 Cookie 校验...` | 拼多多 dsp 接口需 Cookie 凭据 |
| **400** | `WECHAT_CHANNELS_COOKIE_REQUIRED` | `解析失败:该链接需要配置腾讯元宝 YUANBAO_COOKIE 凭证...` | 微信视频号解析通道凭据失效 |
| **400** | `MEDIA_NOT_FOUND` | `提取媒体内容失败,请检查链接或稍后重试` | 未能从目标页面提取到有效音视频或图集 |
+16 -7
View File
@@ -28,6 +28,11 @@
* **普通视频与普通图文 (100% 免配)**:完全无需用户登录 Cookie。常规视频直连**移动端 Feed 核心通道**(免 Argus 门禁、免 Cookie、免签名、毫秒级直出);普通图文自动通过分享页 SSR 提取高清原图。
* **LivePhoto 实况照片 (`live_photo_url`)**:实况视频流仅由 PC Web 详情 API (`/aweme/v1/web/aweme/detail/`) 下发。在云服务器(机房 IP)下受字节跳动严格风控,需在 `.env` 中配置 `DOUYIN_COOKIE`,且必须包含完整登录 Cookie(含 `sessionid`, `sessionid_ss`, `passport_csrf_token`, `odin_tt` 等)以及 `UIFID` 字段。解析器会自动计算 `x-secsdk-web-signature` 签名并注入 `uifid` 请求头,完美穿透网关阻断;若未配置或遭遇不可抗力风控,自动保底降级为全量静态无水印原图。
* **放映厅长片 (`/lvdetail/`)**:受字节跳动严格风控保护,可在 `.env` 中配置人机滑块通行证 `DOUYIN_COOKIE="s_v_web_id=verify_..."`(代码已做路由隔离,常规作品会自动剔除过期验证码)。
* **环境变量控制**:
* `DOUYIN_COOKIE`:实况 LivePhoto 视频流或特定风控页面所需的登录凭据与 UIFID。
* `DOUYIN_ENABLE_MOBILE_FEED`:是否启用移动端 Feed 核心通道免风控直出(默认 `1` 启用)。
* `DOUYIN_UNDER_REVIEW_MAX_AGE`:刚发布作品审核中状态判别窗口(秒,默认 `7200` 即 2 小时;处于该窗口内返回 `status_self_see` 视作 `MEDIA_UNDER_REVIEW` 审核中)。
* `DOUYIN_API_MAX_ATTEMPTS`:Web 详情接口重试上限(默认 `2` 次)。
---
@@ -250,13 +255,17 @@ abogus = signer.get_abogus(play_url, signer.user_agent)
4. **重试次数降为 2 次与极速降级**:Web 重试上限设为 2 次,遇到突发网络波动或未配置 Cookie 时,在 **<0.5 秒内极速降级至分享页 SSR**,确保静态高清原图毫秒级产出,不再阻塞等待;
5. **兜底保障**:所有链路均配合终端状态(`_is_terminal_failure`)即时短路熔断机制。
5. **私密/日常/已删除链接的不可重试终端状态与智能短路熔断**:
* *现象与机理*:用户传入“抖音日常(24小时可见)”、“私密(仅自己可见)”或“已被作者删除”的作品链接时,官方 Web 详情接口返回 HTTP 200,但带有 `filter_detail`(如 `status_self_see`、`status_deleted`、`status_part_see`)。此类作品本身已被平台限制访问,无论重试多少次都不会有数据。
* *旧版弊端*:若将此类 HTTP 200 的空响应视同为普通抓取失败,解析器会经历完整的 8 次指数退避重试以及 SSR HTML 兜底,导致单个失效链接耗时高达 11~14 秒,严重消耗并发连接池,且因统一返回模糊的 `MEDIA_NOT_FOUND`,容易诱导用户误判系统故障而反复狂刷重试。
* *解法与收益*:
1. **终端状态即时短路**:在 `_is_terminal_failure` 中精确识别 `filter_detail` 与不可恢复业务语义,命中后立即终止重试,跳过无意义的 8 次循环及 SSR 兜底;
2. **耗时断崖式下降**:将失效链接的处理耗时从 **11.3 秒压缩至 ~2 秒**(主要仅包含基础 302 跳转与单次 Web API 判定);
3. **精准原因透传**:将官方返回的限制文案(如 `因作品权限或已被删除,无法观看,去看看其他作品吧`)通过 `retdesc` 准确反馈给调用端与终端用户,彻底杜绝无意义的重试刷量。
5. **私密/日常/已删除链接的不可重试终端状态与刚发布审核中智能判别**:
* *现象与机理*:用户传入“抖音日常(24小时可见)”、“私密(仅自己可见)”或“已被作者删除”的作品链接时,官方 Web 详情接口返回 HTTP 200,但带有 `filter_detail`(如 `status_self_see`、`status_deleted`、`status_part_see`)。此类作品通常已被平台限制访问。
* *刚发布审核中(`status_self_see` 动态识别)*:
* **平台特殊机制**:抖音创作者刚发布的新作品在平台审核通过前,接口会统一临时返回 `status_self_see`(仅自己可见),几分钟审核完毕后即可正常公开解析。
* **时间戳逆向解算**:抖音 `aweme_id` 采用雪花/时间戳 ID 生成算法,**高 32 位为秒级发布时间戳**(`int(aweme_id) >> 32`)。
* **精准区分与可重试透传**:当接口命中 `status_self_see` 时,解析器自动计算作品发布时长。若处于审核窗口期(由环境变量 `DOUYIN_UNDER_REVIEW_MAX_AGE` 控制,默认 7200 秒 / 2 小时),则将其标记为 `MEDIA_UNDER_REVIEW` 并返回提示文案 *“该作品刚发布,正在抖音审核中,暂时无法查看,请几分钟后重试”*,供调用端与用户稍后重试,避免被误判为永久删除或私密。
* *真正终态短路熔断*:
* 超过审核时限仍为 `status_self_see`、或命中 `status_deleted` / `status_part_see` 等状态时,立即判定为不可恢复的终端状态;
* **终端状态即时短路**:在 `_is_terminal_failure` 中精确识别 `filter_detail` 与不可恢复业务语义,命中后立即终止重试,跳过无意义的 8 次循环及 SSR 兜底;
* **耗时断崖式下降**:将失效链接的处理耗时从 **11.3 秒压缩至 ~2 秒**(主要仅包含基础 302 跳转与单次 Web API 判定);
* **精准原因透传**:将官方返回的限制文案(如 `因作品权限或已被删除,无法观看,去看看其他作品吧`)通过 `retdesc` 准确反馈给调用端与终端用户,彻底杜绝无意义的重试刷量。
6. **分享页 SSR 兜底数据下发 `playwm` 带水印端点**:
* *现象*:部分未收录于 Feed 推荐流的视频在走移动端分享页 SSR 降级时,SSR `_ROUTER_DATA` 中仅包含 `video.play_addr` 且地址形式为 `/aweme/v1/playwm/?...`(720P 带片头作者水印与片尾抖音 Logo)。
+1
View File
@@ -112,6 +112,7 @@ if match:
5. **缺少 `xsec_token` 触发平台 404 风控拦截 (错误码 300031)**:
* *原因*:直接截断的笔记 URL 或部分旧短链若未包含 `xsec_token`,小红书安全网关会强制重定向至 `/404/sec_...`(“当前笔记暂时无法浏览”)。
* *解法*:分享链接必须保留完整的 `xsec_token` 签名;重定向提取器完整保留来源签名参数。
* *错误码*:命中 `/404/sec_*`、`xhs_sec_server` 或 `error_code=300031` 时返回 `XIAOHONGSHU_COOKIE_REQUIRED`(会触发代理换 IP 重试),不再误报为 `MEDIA_DELETED_OR_PRIVATE`;实测携带 `xsec_token` 的公开笔记在被风控的出口 IP 上同样会落到该页。
6. **已删除 / 私密笔记识别与错误码精准透传 (`MEDIA_DELETED_OR_PRIVATE`)**:
* 当笔记被作者删除或设置为私密不可见时,小红书会返回 `404?source=note&noteId=...` 或 SSR 数据中 `noteDetailMap[firstNoteId]['note']` 为 `{}`。
* API 层优先透传解析器的 `terminal_error`(状态码 `MEDIA_DELETED_OR_PRIVATE`),避免将已删除作品误报为 `XIAOHONGSHU_COOKIE_REQUIRED`。
+98 -11
View File
@@ -1,29 +1,116 @@
# 新片场 (Xinpianchang) 逆向解析指南
本篇详细记录影视创作人社区 **新片场** 4K/1080P 高清影视作品的抓取方案。
本篇详细记录影视创作人社区 **新片场** 4K/1080P 高清影视作品的抓取方案、App API 与 Web SSR 双轨容灾机制、防盗链请求头及踩坑经验。
---
## 1. 平台特征与支持能力
* **平台标识**:`新片场`
* **支持媒体类型**:原画/高清视频 (MP4/HLS) / 作品封面 / 创作人信息
* **支持媒体类型**:
* 原画/多清晰度渐进式视频流列表 (`video_list`,包含 4K/1080P/720P 等多码率 MP4 直链)
* 首选播放直链 (`video_url` 取最高清可用直链)
* 作品静态高清封面 (`cover_url`)
* 创作人信息 (昵称 `nickname`、主页 ID `author_id`、头像 `avatar`)
* **常见链接形态**:
* 网页链接:`https://www.xinpianchang.com/a13792376`
* **Cookie 依赖**:无需 Cookie。
* 网页带参数分享链:`https://www.xinpianchang.com/a11812492?from=webShare&channel=copyLink`
* **Cookie 依赖**:无需 Cookie(公开作品 100% 免登解析)。
---
## 2. 核心逆向流程
## 2. 链路追踪与 ID 提取
1. **提取文章/视频 ID**:从 URL 中提取 `a\d+` 或 `article_id`。
2. **提取 `__NEXT_DATA__` 或播放器 API**:
* 新片场使用 Next.js SSR 渲染,从首屏 `__NEXT_DATA__` 中解析视频播放配置;
* 或调用新片场 API 获取 `video_url` 及多清晰度档位。
1. **302 重定向**:通过 `WebFetcher.fetch_redirect_url` 跟随短链跳转至标准长链接。
2. **Article ID 提取**:
* 优先正则匹配 `/a(?P<id>\d+)`;
* 其次匹配 query 参数 `article_id=(\d+)`;
* 若均为非标准路径,从 path 纯数字段正则回退匹配 `\d{5,}` 提取作品数字 ID。
---
## 3. 测试与验证
## 3. 核心逆向方案与双轨容灾架构
* **单元测试**:[tests/test_xinpianchang_parser.py](file:///Users/leo/Projects/media-parser/tests/test_xinpianchang_parser.py)
* **执行命令**:`pytest tests/test_xinpianchang_parser.py`
新片场解析采用 **App 移动端 Article API 主路径 + PC 网页端 Next.js SSR `__NEXT_DATA__` 兜底路径 + Mod 媒体播放器接口** 的双轨高可用架构。
```mermaid
flowchart TD
A["输入新片场链接"] --> B["提取 article_id"]
B --> C["1. 请求 App Article API<br/>app.xinpianchang.com/article/{article_id}"]
C --> D{"App API 是否成功?"}
D -->|"成功 (status == 0)"| G["提取 title / cover / author / vid / appKey"]
D -->|"失败 / 403 / 格式异常"| E["2. 回退 PC 网页端 Next.js SSR<br/>www.xinpianchang.com/a{article_id}<br/>(限制 PC UA + Accept: */*)"]
E --> F{"SSR 提取是否成功?"}
F -->|"成功"| G
F -->|"失败"| H["解析终止并记录 Warning"]
G --> I["3. 请求 Mod 媒体接口<br/>mod-api.xinpianchang.com/mod/api/v2/media/{vid}?appKey={appKey}<br/>(注入 Referer / Origin 防盗链头)"]
I --> J["提取 progressive 多清晰度视频直链列表"]
J --> K["完成解析输出 (video_url / video_list / cover / author)"]
```
### 3.1 App 核心文章接口(主路径)
* **接口端点**:
```text
GET https://app.xinpianchang.com/article/{article_id}
```
* **请求头**:携带移动端 User-Agent 与 `Accept: application/json, text/plain, */*`。
* **数据结构**:返回 JSON 中 `data` 节点包含:
* `title`:作品标题;
* `cover`:封面图片 URL;
* `author.userinfo`:创作者信息(`id`, `username`, `avatar`);
* `vid` / `media_id` / `video.vid`:底层视频媒体 ID;
* `video.appKey`:视频媒体鉴权 Key(若缺失则使用内置默认 Key `61a2f329348b3bf77` 兜底)。
### 3.2 网页端 Next.js SSR `__NEXT_DATA__` 提取(容灾降级路径)
当 App 接口因 IP 限流、云服务器出口封锁或返回非 200 时,自动回退到网页端 SSR 解析:
* **目标地址**:`https://www.xinpianchang.com/a{article_id}`
* **关键请求要求**:
* 必须使用 **PC 端 User-Agent**:若使用移动端 UA,服务端会 302 重定向到移动 H5 精简页,页面内不注入 `__NEXT_DATA__`;
* 请求头必须指定 **`Accept: */*`**:若带浏览器默认的富文本 `text/html,...`,某些 CDN 节点会下发精简版静态 HTML。
* **数据提取**:
* 正则提取 `<script id="__NEXT_DATA__"[^>]*>(.*?)</script>`;
* 解析 JSON 中的 `props.pageProps.detail`,该节点数据结构与 App 接口 `data` 保持完全一致,无需额外做字段适配。
### 3.3 Mod 媒体播放器接口提取视频直链
* **接口端点**:
```text
GET https://mod-api.xinpianchang.com/mod/api/v2/media/{vid}?appKey={app_key}
```
* **防盗链请求头**:
* `Referer: https://www.xinpianchang.com/`
* `Origin: https://www.xinpianchang.com`
* **视频流解析**:
* 解析 `data.resource.progressive` 数组;
* 提取所有合法 HTTP/HTTPS 视频流地址;
* 通过 `dict.fromkeys(urls)` 去重并保持清晰度顺序输出至 `video_list`。
---
## 4. 常见踩坑记录与防盗链 (Gotchas)
1. **移动端 UA 请求网页导致 `__NEXT_DATA__` 丢失**:
* *现象*:回退到网页端抓取时,若复用移动端 UA 会被自动重定向至移动 H5 页,导致正则查找 `<script id="__NEXT_DATA__">` 失败。
* *解法*:SSR 回退阶段显式指定 `USER_AGENT_PC`。
2. **`Accept` 请求头引发的 HTML 降级**:
* *现象*:部分出口节点对带有默认浏览器 `Accept: text/html,application/xhtml+xml...` 的请求返回不含 Next.js 状态数据的空壳。
* *解法*:在请求 Headers 中明确固定为 `Accept: */*`。
3. **Mod 媒体接口 403 防盗链拦截**:
* *现象*:请求 `mod-api.xinpianchang.com` 时若缺少来源校验,接口会返回 403 Forbidden。
* *解法*:在 `media_headers` 中强制注入 `Referer: https://www.xinpianchang.com/` 与 `Origin: https://www.xinpianchang.com`。
4. **App 接口突发异常与无缝故障转移**:
* *现象*:新片场 App 接口偶尔会对海外机房或高频 IP 响应 403。
* *解法*:在 `_parse()` 中通过 `self._fetch_article_from_api() or self._fetch_article_from_page()` 优雅短路回退,保障服务 99.9% 以上高可用。
---
## 5. 测试与验证
* **单元测试文件**:[tests/test_xinpianchang_parser.py](file:///Users/leo/Projects/media-parser/tests/test_xinpianchang_parser.py)
* **执行测试**:
```bash
# 运行新片场专项单元测试 (覆盖 App API、SSR 容灾降级、防盗链与无效链接处理)
python3 -m unittest tests/test_xinpianchang_parser.py
# 运行全量单元测试
python3 -m unittest discover -s tests
```
+20 -1
View File
@@ -50,6 +50,11 @@ API_MAX_ATTEMPTS = max(1, _get_env_int("DOUYIN_API_MAX_ATTEMPTS", 2))
RETRY_BASE_DELAY = _get_env_float("DOUYIN_RETRY_BASE_DELAY", 0.2)
RETRY_MAX_DELAY = _get_env_float("DOUYIN_RETRY_MAX_DELAY", 0.8)
# 刚发布的作品在审核通过前,接口会返回 status_self_see(仅自己可见),几分钟后即可正常解析。
# 作品发布不超过该时长(秒)且命中 status_self_see 时,按"审核中"返回可重试的错误码,而不是"已删除/私密"。
UNDER_REVIEW_MAX_AGE = _get_env_int("DOUYIN_UNDER_REVIEW_MAX_AGE", 7200)
UNDER_REVIEW_MESSAGE = "该作品刚发布,正在抖音审核中,暂时无法查看,请几分钟后重试"
# 移动端 Feed 核心接口配置:免 ArgusSecurityPlugin 门禁的主路径(常规视频测试中 0 次 403)
ENABLE_MOBILE_FEED = (os.getenv("DOUYIN_ENABLE_MOBILE_FEED", "1") or "1").strip().lower() in ("1", "true", "yes", "on")
MOBILE_FEED_ENDPOINTS = [
@@ -301,6 +306,17 @@ class DouyinParser(BaseParser):
logger.warning(f"Failed to get dynamic ttwid: {e}")
return None
def _is_under_review(self, filter_reason):
"""作品 ID 高 32 位是发布时间戳;刚发布就返回 status_self_see 的作品大概率仍在审核。"""
if filter_reason != 'status_self_see':
return False
try:
published = int(self.aweme_id) >> 32
except (TypeError, ValueError):
return False
age = time.time() - published
return -300 <= age <= UNDER_REVIEW_MAX_AGE
def _is_terminal_failure(self, data):
"""
判断接口响应是否为明确的不可重试终端状态(如作品已被删除、仅自己可见、朋友日常权限限制等)。
@@ -377,7 +393,10 @@ class DouyinParser(BaseParser):
or "作品权限受限或已被删除")
filter_reason = (data.get('filter_detail') or {}).get('filter_reason') or "terminal_status"
logger.info(f"抖音接口返回明确的不可重试终端状态 ({filter_reason}: {filter_msg}),立即终止重试: {base_api.split('?')[0]}")
self._terminal_filter_detail = data.get('filter_detail') or {"filter_reason": filter_reason, "detail_msg": filter_msg}
detail = dict(data.get('filter_detail') or {"filter_reason": filter_reason, "detail_msg": filter_msg})
if self._is_under_review(filter_reason):
detail.update(error_code='MEDIA_UNDER_REVIEW', detail_msg=UNDER_REVIEW_MESSAGE)
self._terminal_filter_detail = detail
self.terminal_error = self._terminal_filter_detail
return None
elif last_status != 200:
+16
View File
@@ -17,6 +17,13 @@ class XiaohongshuParser(BaseParser):
self.note_data = {}
self.fetch_and_parse()
@staticmethod
def _is_risk_redirect(url):
url = url or ""
return "xiaohongshu.com/404" in url and (
"/404/sec_" in url or "xhs_sec_server" in url or "error_code=300031" in url
)
def fetch_and_parse(self):
pc_ua = USER_AGENT_PC[0] if USER_AGENT_PC else "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36"
mobile_ua = USER_AGENT_M[0] if USER_AGENT_M else "Mozilla/5.0 (iPhone; CPU iPhone OS 17_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Mobile/15E148 Safari/604.1"
@@ -43,6 +50,15 @@ class XiaohongshuParser(BaseParser):
continue
if resp.status_code != 200:
continue
if self._is_risk_redirect(resp.url):
# /404/sec_*(error_code=300031「当前笔记暂时无法浏览」)是安全风控拦截,
# 公开笔记同样会命中,不能当成已删除;按 Cookie/风控处理以便换 IP 或更新凭据重试。
if is_last:
self.terminal_error = {
"error_code": "XIAOHONGSHU_COOKIE_REQUIRED",
"detail_msg": "访问被小红书安全风控拦截(当前笔记暂时无法浏览),请更新小红书 Cookie 或稍后重试",
}
continue
if "xiaohongshu.com/404" in resp.url or "undertake_note_error" in resp.url:
if is_last:
self.terminal_error = {"detail_msg": "该小红书笔记已被作者删除或不存在"}
+89 -38
View File
@@ -1,8 +1,9 @@
from src.parser_factory import register_parser
import json
import re
from urllib.parse import urlparse
from configs.general_constants import USER_AGENT_M
from configs.general_constants import USER_AGENT_M, USER_AGENT_PC
from configs.logging_config import get_logger
from src.parsers.base_parser import BaseParser
@@ -15,6 +16,8 @@ class XinpianchangParser(BaseParser):
ARTICLE_API = "https://app.xinpianchang.com/article/{article_id}"
MEDIA_API = "https://mod-api.xinpianchang.com/mod/api/v2/media/{vid}?appKey={app_key}"
PAGE_URL = "https://www.xinpianchang.com/a{article_id}"
DEFAULT_APP_KEY = "61a2f329348b3bf77"
def __init__(self, real_url):
super().__init__(real_url)
@@ -22,6 +25,7 @@ class XinpianchangParser(BaseParser):
"User-Agent": USER_AGENT_M[0],
"Accept": "application/json, text/plain, */*",
}
self.media_headers = dict(self.headers, Referer="https://www.xinpianchang.com/", Origin="https://www.xinpianchang.com")
self.article_id = self._extract_article_id()
self.title = None
self.cover_url = None
@@ -43,52 +47,99 @@ class XinpianchangParser(BaseParser):
return match_digits.group()
return None
def _fetch_article_from_api(self):
article_url = self.ARTICLE_API.format(article_id=self.article_id)
try:
resp = self.session.get(article_url, headers=self.headers, timeout=10)
if resp.status_code != 200:
logger.warning("Xinpianchang article API HTTP %s for %s", resp.status_code, self.article_id)
return None
res_json = resp.json()
except Exception as exc:
logger.warning("Xinpianchang article API failed for %s: %s", self.article_id, exc)
return None
if res_json.get("status") != 0 or not isinstance(res_json.get("data"), dict):
logger.warning("Xinpianchang article API returned error for %s: %s", self.article_id, str(res_json)[:200])
return None
return res_json["data"]
def _fetch_article_from_page(self):
"""App 接口不可用时回退到网页 __NEXT_DATA__,其中 detail 与 App 接口 data 结构一致。"""
page_url = self.PAGE_URL.format(article_id=self.article_id)
# 必须使用 PC UA(移动 UA 会跳到无 __NEXT_DATA__ 的 h5 页),且不能带浏览器式 text/html Accept,
# 否则会返回不含 __NEXT_DATA__ 的精简页面。
headers = {
"User-Agent": USER_AGENT_PC[0] if USER_AGENT_PC else "Mozilla/5.0 (Windows NT 10.0; Win64; x64)",
"Accept": "*/*",
}
try:
resp = self.session.get(page_url, headers=headers, timeout=10)
if resp.status_code != 200:
logger.warning("Xinpianchang page HTTP %s for %s", resp.status_code, self.article_id)
return None
match = re.search(r'<script id="__NEXT_DATA__"[^>]*>(.*?)</script>', resp.text or "", re.S)
if not match:
logger.warning("Xinpianchang page has no __NEXT_DATA__ for %s", self.article_id)
return None
detail = json.loads(match.group(1)).get("props", {}).get("pageProps", {}).get("detail")
except Exception as exc:
logger.warning("Xinpianchang page fallback failed for %s: %s", self.article_id, exc)
return None
return detail if isinstance(detail, dict) else None
def _fetch_video_list(self, vid, app_key):
mod_url = self.MEDIA_API.format(vid=vid, app_key=app_key)
try:
mod_resp = self.session.get(mod_url, headers=self.media_headers, timeout=10)
if mod_resp.status_code != 200:
logger.warning("Xinpianchang media API HTTP %s for vid %s", mod_resp.status_code, vid)
return []
mod_json = mod_resp.json()
except Exception as exc:
logger.warning("Xinpianchang media API failed for vid %s: %s", vid, exc)
return []
if mod_json.get("status") != 0 or not isinstance(mod_json.get("data"), dict):
logger.warning("Xinpianchang media API returned error for vid %s: %s", vid, str(mod_json)[:200])
return []
progressive = (mod_json["data"].get("resource") or {}).get("progressive") or []
urls = [
p["url"]
for p in progressive
if isinstance(p, dict) and isinstance(p.get("url"), str) and p["url"].startswith("http")
]
if not urls:
logger.warning("Xinpianchang media API has no playable progressive url for vid %s", vid)
return list(dict.fromkeys(urls))
def _parse(self):
if not self.article_id:
logger.warning("Unable to extract Xinpianchang article_id from URL: %s", self.real_url)
return
article_url = self.ARTICLE_API.format(article_id=self.article_id)
try:
resp = self.session.get(article_url, headers=self.headers, timeout=10)
resp.raise_for_status()
res_json = resp.json()
if res_json.get("status") != 0 or not isinstance(res_json.get("data"), dict):
logger.warning("Xinpianchang article API returned error: %s", res_json)
return
data = self._fetch_article_from_api() or self._fetch_article_from_page()
if not data:
return
data = res_json["data"]
self.title = data.get("title")
self.cover_url = data.get("cover")
self.title = data.get("title")
self.cover_url = data.get("cover")
author_info = data.get("author", {}).get("userinfo", {})
if isinstance(author_info, dict) and author_info:
author_id = author_info.get("id")
self.author = {
"nickname": author_info.get("username") or "",
"author_id": str(author_id) if author_id else "",
"avatar": author_info.get("avatar") or "",
}
author_info = (data.get("author") or {}).get("userinfo") or {}
if isinstance(author_info, dict) and author_info:
author_id = author_info.get("id")
self.author = {
"nickname": author_info.get("username") or "",
"author_id": str(author_id) if author_id else "",
"avatar": author_info.get("avatar") or "",
}
vid = data.get("vid") or data.get("media_id")
app_key = data.get("video", {}).get("appKey") or "61a2f329348b3bf77"
video = data.get("video") or {}
vid = data.get("vid") or data.get("media_id") or video.get("vid")
app_key = video.get("appKey") or self.DEFAULT_APP_KEY
if not vid:
logger.warning("Xinpianchang article %s has no vid", self.article_id)
return
if vid:
mod_url = self.MEDIA_API.format(vid=vid, app_key=app_key)
mod_resp = self.session.get(mod_url, headers=self.headers, timeout=10)
if mod_resp.status_code == 200:
mod_json = mod_resp.json()
if mod_json.get("status") == 0 and isinstance(mod_json.get("data"), dict):
mod_data = mod_json["data"]
progressive = mod_data.get("resource", {}).get("progressive", [])
urls = [
p["url"]
for p in progressive
if isinstance(p, dict) and p.get("url") and p["url"].startswith("http")
]
self.video_list = list(dict.fromkeys(urls))
except Exception as exc:
logger.warning("Failed to fetch Xinpianchang data: %s", exc)
self.video_list = self._fetch_video_list(vid, app_key)
def get_real_video_url(self):
return self.video_url
+5
View File
@@ -284,6 +284,11 @@
<td class="px-3.5 py-2.5"><code class="font-mono text-xs font-semibold text-slate-800 bg-slate-100/90 px-2 py-0.5 rounded border border-slate-200/60">MEDIA_DELETED_OR_PRIVATE</code></td>
<td class="px-3.5 py-2.5 text-slate-600 leading-relaxed">目标内容为私密作品、仅好友可见的日常/动态,或已被作者删除下架。</td>
</tr>
<tr>
<td class="px-3.5 py-2.5"><span class="inline-flex items-center px-1.5 py-0.5 rounded text-xs font-mono font-medium bg-rose-50 text-rose-700 border border-rose-200/60">400</span></td>
<td class="px-3.5 py-2.5"><code class="font-mono text-xs font-semibold text-slate-800 bg-slate-100/90 px-2 py-0.5 rounded border border-slate-200/60">MEDIA_UNDER_REVIEW</code></td>
<td class="px-3.5 py-2.5 text-slate-600 leading-relaxed">抖音作品刚发布仍在审核中,暂时仅作者可见;等待几分钟后重试通常即可成功。</td>
</tr>
<tr>
<td class="px-3.5 py-2.5"><span class="inline-flex items-center px-1.5 py-0.5 rounded text-xs font-mono font-medium bg-rose-50 text-rose-700 border border-rose-200/60">400</span></td>
<td class="px-3.5 py-2.5"><code class="font-mono text-xs font-semibold text-slate-800 bg-slate-100/90 px-2 py-0.5 rounded border border-slate-200/60">NO_MEDIA_IN_CONTENT</code></td>
+8
View File
@@ -1083,6 +1083,14 @@
}
// 3. 作品自身状态(删除/私密/无媒体)
if (code === 'MEDIA_UNDER_REVIEW') {
return {
title: '作品审核中',
message: '该作品刚刚发布,平台仍在审核,暂时无法查看。',
hint: '请等待几分钟,审核通过后再重新解析。',
tag: '审核中'
};
}
if (code === 'MEDIA_DELETED_OR_PRIVATE') {
return {
title: '作品不可查看',
+40
View File
@@ -1,4 +1,5 @@
import json
import time
import os
import unittest
import urllib.parse
@@ -750,6 +751,45 @@ class DouyinParserTest(unittest.TestCase):
mock_ssr.assert_not_called()
self.assertIsNone(parser.data)
def _terminal_parser(self, aweme_id, filter_reason):
payload = {
"status_code": 0,
"aweme_detail": None,
"filter_detail": {
"aweme_id": aweme_id,
"detail_msg": "因作品权限或已被删除,无法观看,去看看其他作品吧",
"filter_reason": filter_reason,
"notice": "抱歉,作品不见了",
},
}
mock_resp = Mock(status_code=200, text=json.dumps(payload))
mock_resp.json.return_value = payload
with patch.object(DouyinParser, "_request_mobile_feed", return_value=None):
with patch.object(DouyinParser, "_try_share_ssr_detail", return_value=None):
with patch.object(DouyinParser, "fetch_html_content"):
with patch("requests.Session.get", return_value=mock_resp):
return DouyinParser(f"https://www.douyin.com/video/{aweme_id}")
@staticmethod
def _aweme_id_published_at(ts):
return str((int(ts) << 32) | 123456)
def test_fresh_self_see_is_reported_as_under_review(self):
aweme_id = self._aweme_id_published_at(time.time() - 120)
parser = self._terminal_parser(aweme_id, "status_self_see")
self.assertEqual(parser.terminal_error["error_code"], "MEDIA_UNDER_REVIEW")
self.assertIn("审核", parser.terminal_error["detail_msg"])
def test_old_self_see_stays_private(self):
aweme_id = self._aweme_id_published_at(time.time() - 3 * 86400)
parser = self._terminal_parser(aweme_id, "status_self_see")
self.assertNotIn("error_code", parser.terminal_error)
def test_fresh_deleted_stays_deleted(self):
aweme_id = self._aweme_id_published_at(time.time() - 60)
parser = self._terminal_parser(aweme_id, "status_deleted")
self.assertNotIn("error_code", parser.terminal_error)
def test_share_ssr_precedence_over_web_api(self):
aweme_id = "7675236180098600202"
ssr_payload = {
+26
View File
@@ -118,6 +118,32 @@ class XiaohongshuParserTest(unittest.TestCase):
self.assertIn("需在后台系统设置中配置小红书 Cookie", parser.terminal_error["detail_msg"])
def _parser_for_final_url(self, final_url):
from unittest.mock import Mock, patch
import os
resp = Mock(status_code=200, url=final_url, text="<html></html>")
with patch("requests.Session.get", return_value=resp):
with patch.dict(os.environ, {"XHS_COOKIE": ""}):
return XiaohongshuParser("https://www.xiaohongshu.com/discovery/item/69fc84830000000023016c37")
def test_security_404_is_risk_control_not_deleted(self):
parser = self._parser_for_final_url(
"https://www.xiaohongshu.com/404?source=/404/sec_mRapqfwO?redirectPath=x&error_code=300031&error_msg=x"
)
self.assertEqual(parser.terminal_error["error_code"], "XIAOHONGSHU_COOKIE_REQUIRED")
self.assertIn("风控", parser.terminal_error["detail_msg"])
def test_mobile_security_404_is_risk_control(self):
parser = self._parser_for_final_url(
"https://www.xiaohongshu.com/404/sec_dgXCGSbw?source=xhs_sec_server&originalUrl=x"
)
self.assertEqual(parser.terminal_error["error_code"], "XIAOHONGSHU_COOKIE_REQUIRED")
def test_plain_404_is_still_deleted(self):
parser = self._parser_for_final_url("https://www.xiaohongshu.com/404?source=note")
self.assertNotIn("error_code", parser.terminal_error)
self.assertIn("删除", parser.terminal_error["detail_msg"])
if __name__ == "__main__":
unittest.main()
+43 -2
View File
@@ -1,3 +1,4 @@
import json
import unittest
from unittest.mock import Mock, patch
@@ -6,8 +7,7 @@ from src.parsers.xinpianchang_parser import XinpianchangParser
class XinpianchangParserTest(unittest.TestCase):
def test_parses_xinpianchang_article_and_media(self):
article_response = Mock()
article_response.raise_for_status.return_value = None
article_response = Mock(status_code=200)
article_response.json.return_value = {
"status": 0,
"data": {
@@ -67,6 +67,47 @@ class XinpianchangParserTest(unittest.TestCase):
},
)
def test_falls_back_to_web_page_when_app_api_fails(self):
next_data = {
"props": {"pageProps": {"detail": {
"title": "这就是深圳",
"cover": "https://oss-xpc0.xpccdn.com/cover.jpg",
"vid": "P2MmN45WBmE7X0zL",
"video": {"appKey": "61a2f329348b3bf77", "vid": "P2MmN45WBmE7X0zL"},
"author": {"userinfo": {"id": 10767403, "username": "heart的旅行日记", "avatar": ""}},
}}}
}
page_response = Mock(status_code=200)
page_response.text = (
'<html><script id="__NEXT_DATA__" type="application/json">'
+ json.dumps(next_data, ensure_ascii=False)
+ "</script></html>"
)
media_response = Mock(status_code=200)
media_response.json.return_value = {
"status": 0,
"data": {"resource": {"progressive": [{"url": "https://us-xpc5.xpccdn.com/720p.mp4"}]}},
}
requested = []
def mock_get(url, **kwargs):
requested.append(url)
if "app.xinpianchang.com" in url:
return Mock(status_code=403)
if "www.xinpianchang.com/a11812492" in url:
return page_response
if "mod-api.xinpianchang.com/mod/api/v2/media/P2MmN45WBmE7X0zL" in url:
return media_response
return Mock(status_code=404)
with patch("requests.Session.get", side_effect=mock_get):
parser = XinpianchangParser("https://www.xinpianchang.com/a11812492?from=webShare&channel=copyLink")
self.assertEqual(parser.get_title_content(), "这就是深圳")
self.assertEqual(parser.get_video_list(), ["https://us-xpc5.xpccdn.com/720p.mp4"])
self.assertEqual(parser.get_author_info()["nickname"], "heart的旅行日记")
self.assertTrue(any("www.xinpianchang.com" in u for u in requested))
def test_invalid_url_handles_gracefully(self):
parser = XinpianchangParser("https://www.xinpianchang.com/invalid")
self.assertEqual(parser.get_title_content(), "")