diff --git a/README.md b/README.md
index dbb006b..c5a3bca 100644
--- a/README.md
+++ b/README.md
@@ -1,7 +1,7 @@
> [!IMPORTANT]
> **即将维护公告**
>
-> 综合考虑个人维护成本、平台规则和内容授权风险,Media-Parser 即将停止维护,预计于 **2026 年 12 月 1 日前**移除大部分平台解析源码及相关操作指南。需要留存当前版本的开发者,欢迎尽快 **Fork**。如果项目曾帮到你,也欢迎点个 **Star**,一起冲 **512 星** ⭐。想继续交流,欢迎扫描下方二维码加微信,备注 `media-parser` 入群。请遵守适用法律及各平台规则,仅处理自有或已获授权的内容,并尊重平台访问限制和权利人的技术保护措施。
+> 综合考虑个人维护成本、平台规则和内容授权风险,Media-Parser 即将停止维护,预计于 **2027 年 1 月 1 日前**移除大部分平台解析源码及相关操作指南。需要留存当前版本的开发者,欢迎尽快 **Fork**。如果项目曾帮到你,也欢迎点个 **Star**,一起冲 **512 星** ⭐。想继续交流,欢迎扫描下方二维码加微信,备注 `media-parser` 入群。请遵守适用法律及各平台规则,仅处理自有或已获授权的内容,并尊重平台访问限制和权利人的技术保护措施。

diff --git a/docs/api.md b/docs/api.md
index 9314689..054dd6b 100644
--- a/docs/api.md
+++ b/docs/api.md
@@ -136,8 +136,9 @@ curl -X POST "http://localhost:5000/api/v1/parse" \
| `retcode` | `error_code` | `retdesc` 描述 | 说明与处理建议 |
| :---: | :--- | :--- | :--- |
| **400** | `MEDIA_DELETED_OR_PRIVATE` | `因作品权限或已被删除,无法观看...` | 作品已被作者删除、设置为仅自己可见、朋友可见或日常权限限制(终态不可重试) |
+| **400** | `MEDIA_UNDER_REVIEW` | `该作品刚发布,正在抖音审核中,暂时无法查看,请几分钟后重试` | 抖音作品刚发布(2 小时内)仍处于审核期,接口返回仅自己可见;稍后重试通常即可成功 |
| **400** | `NO_MEDIA_IN_CONTENT` | `该分享内容仅包含文本对话,未包含图片或视频资源` | 豆包等 AI 对话分享仅有文字问答,无多媒体附件 |
-| **400** | `XIAOHONGSHU_COOKIE_REQUIRED` | `解析失败:该链接需要小红书登录 Cookie 校验...` | 小红书触发安全反爬校验,需在环境配置有效 Cookie |
+| **400** | `XIAOHONGSHU_COOKIE_REQUIRED` | `解析失败:该链接需要小红书登录 Cookie 校验...` | 小红书触发安全反爬校验(含 `/404/sec_*`、`error_code=300031`「当前笔记暂时无法浏览」风控页),需更新有效 Cookie 或稍后重试 |
| **400** | `PINDUODUO_COOKIE_REQUIRED` | `解析失败:该链接需要拼多多登录 Cookie 校验...` | 拼多多 dsp 接口需 Cookie 凭据 |
| **400** | `WECHAT_CHANNELS_COOKIE_REQUIRED` | `解析失败:该链接需要配置腾讯元宝 YUANBAO_COOKIE 凭证...` | 微信视频号解析通道凭据失效 |
| **400** | `MEDIA_NOT_FOUND` | `提取媒体内容失败,请检查链接或稍后重试` | 未能从目标页面提取到有效音视频或图集 |
diff --git a/docs/parsers/douyin.md b/docs/parsers/douyin.md
index 894ba10..534decd 100644
--- a/docs/parsers/douyin.md
+++ b/docs/parsers/douyin.md
@@ -28,6 +28,11 @@
* **普通视频与普通图文 (100% 免配)**:完全无需用户登录 Cookie。常规视频直连**移动端 Feed 核心通道**(免 Argus 门禁、免 Cookie、免签名、毫秒级直出);普通图文自动通过分享页 SSR 提取高清原图。
* **LivePhoto 实况照片 (`live_photo_url`)**:实况视频流仅由 PC Web 详情 API (`/aweme/v1/web/aweme/detail/`) 下发。在云服务器(机房 IP)下受字节跳动严格风控,需在 `.env` 中配置 `DOUYIN_COOKIE`,且必须包含完整登录 Cookie(含 `sessionid`, `sessionid_ss`, `passport_csrf_token`, `odin_tt` 等)以及 `UIFID` 字段。解析器会自动计算 `x-secsdk-web-signature` 签名并注入 `uifid` 请求头,完美穿透网关阻断;若未配置或遭遇不可抗力风控,自动保底降级为全量静态无水印原图。
* **放映厅长片 (`/lvdetail/`)**:受字节跳动严格风控保护,可在 `.env` 中配置人机滑块通行证 `DOUYIN_COOKIE="s_v_web_id=verify_..."`(代码已做路由隔离,常规作品会自动剔除过期验证码)。
+* **环境变量控制**:
+ * `DOUYIN_COOKIE`:实况 LivePhoto 视频流或特定风控页面所需的登录凭据与 UIFID。
+ * `DOUYIN_ENABLE_MOBILE_FEED`:是否启用移动端 Feed 核心通道免风控直出(默认 `1` 启用)。
+ * `DOUYIN_UNDER_REVIEW_MAX_AGE`:刚发布作品审核中状态判别窗口(秒,默认 `7200` 即 2 小时;处于该窗口内返回 `status_self_see` 视作 `MEDIA_UNDER_REVIEW` 审核中)。
+ * `DOUYIN_API_MAX_ATTEMPTS`:Web 详情接口重试上限(默认 `2` 次)。
---
@@ -250,13 +255,17 @@ abogus = signer.get_abogus(play_url, signer.user_agent)
4. **重试次数降为 2 次与极速降级**:Web 重试上限设为 2 次,遇到突发网络波动或未配置 Cookie 时,在 **<0.5 秒内极速降级至分享页 SSR**,确保静态高清原图毫秒级产出,不再阻塞等待;
5. **兜底保障**:所有链路均配合终端状态(`_is_terminal_failure`)即时短路熔断机制。
-5. **私密/日常/已删除链接的不可重试终端状态与智能短路熔断**:
- * *现象与机理*:用户传入“抖音日常(24小时可见)”、“私密(仅自己可见)”或“已被作者删除”的作品链接时,官方 Web 详情接口返回 HTTP 200,但带有 `filter_detail`(如 `status_self_see`、`status_deleted`、`status_part_see`)。此类作品本身已被平台限制访问,无论重试多少次都不会有数据。
- * *旧版弊端*:若将此类 HTTP 200 的空响应视同为普通抓取失败,解析器会经历完整的 8 次指数退避重试以及 SSR HTML 兜底,导致单个失效链接耗时高达 11~14 秒,严重消耗并发连接池,且因统一返回模糊的 `MEDIA_NOT_FOUND`,容易诱导用户误判系统故障而反复狂刷重试。
- * *解法与收益*:
- 1. **终端状态即时短路**:在 `_is_terminal_failure` 中精确识别 `filter_detail` 与不可恢复业务语义,命中后立即终止重试,跳过无意义的 8 次循环及 SSR 兜底;
- 2. **耗时断崖式下降**:将失效链接的处理耗时从 **11.3 秒压缩至 ~2 秒**(主要仅包含基础 302 跳转与单次 Web API 判定);
- 3. **精准原因透传**:将官方返回的限制文案(如 `因作品权限或已被删除,无法观看,去看看其他作品吧`)通过 `retdesc` 准确反馈给调用端与终端用户,彻底杜绝无意义的重试刷量。
+5. **私密/日常/已删除链接的不可重试终端状态与刚发布审核中智能判别**:
+ * *现象与机理*:用户传入“抖音日常(24小时可见)”、“私密(仅自己可见)”或“已被作者删除”的作品链接时,官方 Web 详情接口返回 HTTP 200,但带有 `filter_detail`(如 `status_self_see`、`status_deleted`、`status_part_see`)。此类作品通常已被平台限制访问。
+ * *刚发布审核中(`status_self_see` 动态识别)*:
+ * **平台特殊机制**:抖音创作者刚发布的新作品在平台审核通过前,接口会统一临时返回 `status_self_see`(仅自己可见),几分钟审核完毕后即可正常公开解析。
+ * **时间戳逆向解算**:抖音 `aweme_id` 采用雪花/时间戳 ID 生成算法,**高 32 位为秒级发布时间戳**(`int(aweme_id) >> 32`)。
+ * **精准区分与可重试透传**:当接口命中 `status_self_see` 时,解析器自动计算作品发布时长。若处于审核窗口期(由环境变量 `DOUYIN_UNDER_REVIEW_MAX_AGE` 控制,默认 7200 秒 / 2 小时),则将其标记为 `MEDIA_UNDER_REVIEW` 并返回提示文案 *“该作品刚发布,正在抖音审核中,暂时无法查看,请几分钟后重试”*,供调用端与用户稍后重试,避免被误判为永久删除或私密。
+ * *真正终态短路熔断*:
+ * 超过审核时限仍为 `status_self_see`、或命中 `status_deleted` / `status_part_see` 等状态时,立即判定为不可恢复的终端状态;
+ * **终端状态即时短路**:在 `_is_terminal_failure` 中精确识别 `filter_detail` 与不可恢复业务语义,命中后立即终止重试,跳过无意义的 8 次循环及 SSR 兜底;
+ * **耗时断崖式下降**:将失效链接的处理耗时从 **11.3 秒压缩至 ~2 秒**(主要仅包含基础 302 跳转与单次 Web API 判定);
+ * **精准原因透传**:将官方返回的限制文案(如 `因作品权限或已被删除,无法观看,去看看其他作品吧`)通过 `retdesc` 准确反馈给调用端与终端用户,彻底杜绝无意义的重试刷量。
6. **分享页 SSR 兜底数据下发 `playwm` 带水印端点**:
* *现象*:部分未收录于 Feed 推荐流的视频在走移动端分享页 SSR 降级时,SSR `_ROUTER_DATA` 中仅包含 `video.play_addr` 且地址形式为 `/aweme/v1/playwm/?...`(720P 带片头作者水印与片尾抖音 Logo)。
diff --git a/docs/parsers/xiaohongshu.md b/docs/parsers/xiaohongshu.md
index 44fd432..813a5c4 100644
--- a/docs/parsers/xiaohongshu.md
+++ b/docs/parsers/xiaohongshu.md
@@ -112,6 +112,7 @@ if match:
5. **缺少 `xsec_token` 触发平台 404 风控拦截 (错误码 300031)**:
* *原因*:直接截断的笔记 URL 或部分旧短链若未包含 `xsec_token`,小红书安全网关会强制重定向至 `/404/sec_...`(“当前笔记暂时无法浏览”)。
* *解法*:分享链接必须保留完整的 `xsec_token` 签名;重定向提取器完整保留来源签名参数。
+ * *错误码*:命中 `/404/sec_*`、`xhs_sec_server` 或 `error_code=300031` 时返回 `XIAOHONGSHU_COOKIE_REQUIRED`(会触发代理换 IP 重试),不再误报为 `MEDIA_DELETED_OR_PRIVATE`;实测携带 `xsec_token` 的公开笔记在被风控的出口 IP 上同样会落到该页。
6. **已删除 / 私密笔记识别与错误码精准透传 (`MEDIA_DELETED_OR_PRIVATE`)**:
* 当笔记被作者删除或设置为私密不可见时,小红书会返回 `404?source=note¬eId=...` 或 SSR 数据中 `noteDetailMap[firstNoteId]['note']` 为 `{}`。
* API 层优先透传解析器的 `terminal_error`(状态码 `MEDIA_DELETED_OR_PRIVATE`),避免将已删除作品误报为 `XIAOHONGSHU_COOKIE_REQUIRED`。
diff --git a/docs/parsers/xinpianchang.md b/docs/parsers/xinpianchang.md
index 67962be..d238ff9 100644
--- a/docs/parsers/xinpianchang.md
+++ b/docs/parsers/xinpianchang.md
@@ -1,29 +1,116 @@
# 新片场 (Xinpianchang) 逆向解析指南
-本篇详细记录影视创作人社区 **新片场** 4K/1080P 高清影视作品的抓取方案。
+本篇详细记录影视创作人社区 **新片场** 4K/1080P 高清影视作品的抓取方案、App API 与 Web SSR 双轨容灾机制、防盗链请求头及踩坑经验。
---
## 1. 平台特征与支持能力
* **平台标识**:`新片场`
-* **支持媒体类型**:原画/高清视频 (MP4/HLS) / 作品封面 / 创作人信息
+* **支持媒体类型**:
+ * 原画/多清晰度渐进式视频流列表 (`video_list`,包含 4K/1080P/720P 等多码率 MP4 直链)
+ * 首选播放直链 (`video_url` 取最高清可用直链)
+ * 作品静态高清封面 (`cover_url`)
+ * 创作人信息 (昵称 `nickname`、主页 ID `author_id`、头像 `avatar`)
* **常见链接形态**:
* 网页链接:`https://www.xinpianchang.com/a13792376`
-* **Cookie 依赖**:无需 Cookie。
+ * 网页带参数分享链:`https://www.xinpianchang.com/a11812492?from=webShare&channel=copyLink`
+* **Cookie 依赖**:无需 Cookie(公开作品 100% 免登解析)。
---
-## 2. 核心逆向流程
+## 2. 链路追踪与 ID 提取
-1. **提取文章/视频 ID**:从 URL 中提取 `a\d+` 或 `article_id`。
-2. **提取 `__NEXT_DATA__` 或播放器 API**:
- * 新片场使用 Next.js SSR 渲染,从首屏 `__NEXT_DATA__` 中解析视频播放配置;
- * 或调用新片场 API 获取 `video_url` 及多清晰度档位。
+1. **302 重定向**:通过 `WebFetcher.fetch_redirect_url` 跟随短链跳转至标准长链接。
+2. **Article ID 提取**:
+ * 优先正则匹配 `/a(?P
\d+)`;
+ * 其次匹配 query 参数 `article_id=(\d+)`;
+ * 若均为非标准路径,从 path 纯数字段正则回退匹配 `\d{5,}` 提取作品数字 ID。
---
-## 3. 测试与验证
+## 3. 核心逆向方案与双轨容灾架构
-* **单元测试**:[tests/test_xinpianchang_parser.py](file:///Users/leo/Projects/media-parser/tests/test_xinpianchang_parser.py)
-* **执行命令**:`pytest tests/test_xinpianchang_parser.py`
+新片场解析采用 **App 移动端 Article API 主路径 + PC 网页端 Next.js SSR `__NEXT_DATA__` 兜底路径 + Mod 媒体播放器接口** 的双轨高可用架构。
+
+```mermaid
+flowchart TD
+ A["输入新片场链接"] --> B["提取 article_id"]
+ B --> C["1. 请求 App Article API
app.xinpianchang.com/article/{article_id}"]
+ C --> D{"App API 是否成功?"}
+ D -->|"成功 (status == 0)"| G["提取 title / cover / author / vid / appKey"]
+ D -->|"失败 / 403 / 格式异常"| E["2. 回退 PC 网页端 Next.js SSR
www.xinpianchang.com/a{article_id}
(限制 PC UA + Accept: */*)"]
+ E --> F{"SSR 提取是否成功?"}
+ F -->|"成功"| G
+ F -->|"失败"| H["解析终止并记录 Warning"]
+ G --> I["3. 请求 Mod 媒体接口
mod-api.xinpianchang.com/mod/api/v2/media/{vid}?appKey={appKey}
(注入 Referer / Origin 防盗链头)"]
+ I --> J["提取 progressive 多清晰度视频直链列表"]
+ J --> K["完成解析输出 (video_url / video_list / cover / author)"]
+```
+
+### 3.1 App 核心文章接口(主路径)
+* **接口端点**:
+ ```text
+ GET https://app.xinpianchang.com/article/{article_id}
+ ```
+* **请求头**:携带移动端 User-Agent 与 `Accept: application/json, text/plain, */*`。
+* **数据结构**:返回 JSON 中 `data` 节点包含:
+ * `title`:作品标题;
+ * `cover`:封面图片 URL;
+ * `author.userinfo`:创作者信息(`id`, `username`, `avatar`);
+ * `vid` / `media_id` / `video.vid`:底层视频媒体 ID;
+ * `video.appKey`:视频媒体鉴权 Key(若缺失则使用内置默认 Key `61a2f329348b3bf77` 兜底)。
+
+### 3.2 网页端 Next.js SSR `__NEXT_DATA__` 提取(容灾降级路径)
+当 App 接口因 IP 限流、云服务器出口封锁或返回非 200 时,自动回退到网页端 SSR 解析:
+* **目标地址**:`https://www.xinpianchang.com/a{article_id}`
+* **关键请求要求**:
+ * 必须使用 **PC 端 User-Agent**:若使用移动端 UA,服务端会 302 重定向到移动 H5 精简页,页面内不注入 `__NEXT_DATA__`;
+ * 请求头必须指定 **`Accept: */*`**:若带浏览器默认的富文本 `text/html,...`,某些 CDN 节点会下发精简版静态 HTML。
+* **数据提取**:
+ * 正则提取 ``;
+ * 解析 JSON 中的 `props.pageProps.detail`,该节点数据结构与 App 接口 `data` 保持完全一致,无需额外做字段适配。
+
+### 3.3 Mod 媒体播放器接口提取视频直链
+* **接口端点**:
+ ```text
+ GET https://mod-api.xinpianchang.com/mod/api/v2/media/{vid}?appKey={app_key}
+ ```
+* **防盗链请求头**:
+ * `Referer: https://www.xinpianchang.com/`
+ * `Origin: https://www.xinpianchang.com`
+* **视频流解析**:
+ * 解析 `data.resource.progressive` 数组;
+ * 提取所有合法 HTTP/HTTPS 视频流地址;
+ * 通过 `dict.fromkeys(urls)` 去重并保持清晰度顺序输出至 `video_list`。
+
+---
+
+## 4. 常见踩坑记录与防盗链 (Gotchas)
+
+1. **移动端 UA 请求网页导致 `__NEXT_DATA__` 丢失**:
+ * *现象*:回退到网页端抓取时,若复用移动端 UA 会被自动重定向至移动 H5 页,导致正则查找 `', resp.text or "", re.S)
+ if not match:
+ logger.warning("Xinpianchang page has no __NEXT_DATA__ for %s", self.article_id)
+ return None
+ detail = json.loads(match.group(1)).get("props", {}).get("pageProps", {}).get("detail")
+ except Exception as exc:
+ logger.warning("Xinpianchang page fallback failed for %s: %s", self.article_id, exc)
+ return None
+ return detail if isinstance(detail, dict) else None
+
+ def _fetch_video_list(self, vid, app_key):
+ mod_url = self.MEDIA_API.format(vid=vid, app_key=app_key)
+ try:
+ mod_resp = self.session.get(mod_url, headers=self.media_headers, timeout=10)
+ if mod_resp.status_code != 200:
+ logger.warning("Xinpianchang media API HTTP %s for vid %s", mod_resp.status_code, vid)
+ return []
+ mod_json = mod_resp.json()
+ except Exception as exc:
+ logger.warning("Xinpianchang media API failed for vid %s: %s", vid, exc)
+ return []
+ if mod_json.get("status") != 0 or not isinstance(mod_json.get("data"), dict):
+ logger.warning("Xinpianchang media API returned error for vid %s: %s", vid, str(mod_json)[:200])
+ return []
+ progressive = (mod_json["data"].get("resource") or {}).get("progressive") or []
+ urls = [
+ p["url"]
+ for p in progressive
+ if isinstance(p, dict) and isinstance(p.get("url"), str) and p["url"].startswith("http")
+ ]
+ if not urls:
+ logger.warning("Xinpianchang media API has no playable progressive url for vid %s", vid)
+ return list(dict.fromkeys(urls))
+
def _parse(self):
if not self.article_id:
logger.warning("Unable to extract Xinpianchang article_id from URL: %s", self.real_url)
return
- article_url = self.ARTICLE_API.format(article_id=self.article_id)
- try:
- resp = self.session.get(article_url, headers=self.headers, timeout=10)
- resp.raise_for_status()
- res_json = resp.json()
- if res_json.get("status") != 0 or not isinstance(res_json.get("data"), dict):
- logger.warning("Xinpianchang article API returned error: %s", res_json)
- return
+ data = self._fetch_article_from_api() or self._fetch_article_from_page()
+ if not data:
+ return
- data = res_json["data"]
- self.title = data.get("title")
- self.cover_url = data.get("cover")
+ self.title = data.get("title")
+ self.cover_url = data.get("cover")
- author_info = data.get("author", {}).get("userinfo", {})
- if isinstance(author_info, dict) and author_info:
- author_id = author_info.get("id")
- self.author = {
- "nickname": author_info.get("username") or "",
- "author_id": str(author_id) if author_id else "",
- "avatar": author_info.get("avatar") or "",
- }
+ author_info = (data.get("author") or {}).get("userinfo") or {}
+ if isinstance(author_info, dict) and author_info:
+ author_id = author_info.get("id")
+ self.author = {
+ "nickname": author_info.get("username") or "",
+ "author_id": str(author_id) if author_id else "",
+ "avatar": author_info.get("avatar") or "",
+ }
- vid = data.get("vid") or data.get("media_id")
- app_key = data.get("video", {}).get("appKey") or "61a2f329348b3bf77"
+ video = data.get("video") or {}
+ vid = data.get("vid") or data.get("media_id") or video.get("vid")
+ app_key = video.get("appKey") or self.DEFAULT_APP_KEY
+ if not vid:
+ logger.warning("Xinpianchang article %s has no vid", self.article_id)
+ return
- if vid:
- mod_url = self.MEDIA_API.format(vid=vid, app_key=app_key)
- mod_resp = self.session.get(mod_url, headers=self.headers, timeout=10)
- if mod_resp.status_code == 200:
- mod_json = mod_resp.json()
- if mod_json.get("status") == 0 and isinstance(mod_json.get("data"), dict):
- mod_data = mod_json["data"]
- progressive = mod_data.get("resource", {}).get("progressive", [])
- urls = [
- p["url"]
- for p in progressive
- if isinstance(p, dict) and p.get("url") and p["url"].startswith("http")
- ]
- self.video_list = list(dict.fromkeys(urls))
- except Exception as exc:
- logger.warning("Failed to fetch Xinpianchang data: %s", exc)
+ self.video_list = self._fetch_video_list(vid, app_key)
def get_real_video_url(self):
return self.video_url
diff --git a/templates/components/api_docs.html b/templates/components/api_docs.html
index 4a21bc6..70ba64b 100644
--- a/templates/components/api_docs.html
+++ b/templates/components/api_docs.html
@@ -284,6 +284,11 @@
MEDIA_DELETED_OR_PRIVATE |
目标内容为私密作品、仅好友可见的日常/动态,或已被作者删除下架。 |
+
+ | 400 |
+ MEDIA_UNDER_REVIEW |
+ 抖音作品刚发布仍在审核中,暂时仅作者可见;等待几分钟后重试通常即可成功。 |
+
| 400 |
NO_MEDIA_IN_CONTENT |
diff --git a/templates/landing.html b/templates/landing.html
index 3c8c549..b0afb70 100644
--- a/templates/landing.html
+++ b/templates/landing.html
@@ -1083,6 +1083,14 @@
}
// 3. 作品自身状态(删除/私密/无媒体)
+ if (code === 'MEDIA_UNDER_REVIEW') {
+ return {
+ title: '作品审核中',
+ message: '该作品刚刚发布,平台仍在审核,暂时无法查看。',
+ hint: '请等待几分钟,审核通过后再重新解析。',
+ tag: '审核中'
+ };
+ }
if (code === 'MEDIA_DELETED_OR_PRIVATE') {
return {
title: '作品不可查看',
diff --git a/tests/test_douyin_parser.py b/tests/test_douyin_parser.py
index 366ddfc..67f6f08 100644
--- a/tests/test_douyin_parser.py
+++ b/tests/test_douyin_parser.py
@@ -1,4 +1,5 @@
import json
+import time
import os
import unittest
import urllib.parse
@@ -750,6 +751,45 @@ class DouyinParserTest(unittest.TestCase):
mock_ssr.assert_not_called()
self.assertIsNone(parser.data)
+ def _terminal_parser(self, aweme_id, filter_reason):
+ payload = {
+ "status_code": 0,
+ "aweme_detail": None,
+ "filter_detail": {
+ "aweme_id": aweme_id,
+ "detail_msg": "因作品权限或已被删除,无法观看,去看看其他作品吧",
+ "filter_reason": filter_reason,
+ "notice": "抱歉,作品不见了",
+ },
+ }
+ mock_resp = Mock(status_code=200, text=json.dumps(payload))
+ mock_resp.json.return_value = payload
+ with patch.object(DouyinParser, "_request_mobile_feed", return_value=None):
+ with patch.object(DouyinParser, "_try_share_ssr_detail", return_value=None):
+ with patch.object(DouyinParser, "fetch_html_content"):
+ with patch("requests.Session.get", return_value=mock_resp):
+ return DouyinParser(f"https://www.douyin.com/video/{aweme_id}")
+
+ @staticmethod
+ def _aweme_id_published_at(ts):
+ return str((int(ts) << 32) | 123456)
+
+ def test_fresh_self_see_is_reported_as_under_review(self):
+ aweme_id = self._aweme_id_published_at(time.time() - 120)
+ parser = self._terminal_parser(aweme_id, "status_self_see")
+ self.assertEqual(parser.terminal_error["error_code"], "MEDIA_UNDER_REVIEW")
+ self.assertIn("审核", parser.terminal_error["detail_msg"])
+
+ def test_old_self_see_stays_private(self):
+ aweme_id = self._aweme_id_published_at(time.time() - 3 * 86400)
+ parser = self._terminal_parser(aweme_id, "status_self_see")
+ self.assertNotIn("error_code", parser.terminal_error)
+
+ def test_fresh_deleted_stays_deleted(self):
+ aweme_id = self._aweme_id_published_at(time.time() - 60)
+ parser = self._terminal_parser(aweme_id, "status_deleted")
+ self.assertNotIn("error_code", parser.terminal_error)
+
def test_share_ssr_precedence_over_web_api(self):
aweme_id = "7675236180098600202"
ssr_payload = {
diff --git a/tests/test_xiaohongshu_parser.py b/tests/test_xiaohongshu_parser.py
index 9eebdb7..afdd13e 100644
--- a/tests/test_xiaohongshu_parser.py
+++ b/tests/test_xiaohongshu_parser.py
@@ -118,6 +118,32 @@ class XiaohongshuParserTest(unittest.TestCase):
self.assertIn("需在后台系统设置中配置小红书 Cookie", parser.terminal_error["detail_msg"])
+ def _parser_for_final_url(self, final_url):
+ from unittest.mock import Mock, patch
+ import os
+ resp = Mock(status_code=200, url=final_url, text="")
+ with patch("requests.Session.get", return_value=resp):
+ with patch.dict(os.environ, {"XHS_COOKIE": ""}):
+ return XiaohongshuParser("https://www.xiaohongshu.com/discovery/item/69fc84830000000023016c37")
+
+ def test_security_404_is_risk_control_not_deleted(self):
+ parser = self._parser_for_final_url(
+ "https://www.xiaohongshu.com/404?source=/404/sec_mRapqfwO?redirectPath=x&error_code=300031&error_msg=x"
+ )
+ self.assertEqual(parser.terminal_error["error_code"], "XIAOHONGSHU_COOKIE_REQUIRED")
+ self.assertIn("风控", parser.terminal_error["detail_msg"])
+
+ def test_mobile_security_404_is_risk_control(self):
+ parser = self._parser_for_final_url(
+ "https://www.xiaohongshu.com/404/sec_dgXCGSbw?source=xhs_sec_server&originalUrl=x"
+ )
+ self.assertEqual(parser.terminal_error["error_code"], "XIAOHONGSHU_COOKIE_REQUIRED")
+
+ def test_plain_404_is_still_deleted(self):
+ parser = self._parser_for_final_url("https://www.xiaohongshu.com/404?source=note")
+ self.assertNotIn("error_code", parser.terminal_error)
+ self.assertIn("删除", parser.terminal_error["detail_msg"])
+
if __name__ == "__main__":
unittest.main()
diff --git a/tests/test_xinpianchang_parser.py b/tests/test_xinpianchang_parser.py
index dee5b6b..7b987ca 100644
--- a/tests/test_xinpianchang_parser.py
+++ b/tests/test_xinpianchang_parser.py
@@ -1,3 +1,4 @@
+import json
import unittest
from unittest.mock import Mock, patch
@@ -6,8 +7,7 @@ from src.parsers.xinpianchang_parser import XinpianchangParser
class XinpianchangParserTest(unittest.TestCase):
def test_parses_xinpianchang_article_and_media(self):
- article_response = Mock()
- article_response.raise_for_status.return_value = None
+ article_response = Mock(status_code=200)
article_response.json.return_value = {
"status": 0,
"data": {
@@ -67,6 +67,47 @@ class XinpianchangParserTest(unittest.TestCase):
},
)
+ def test_falls_back_to_web_page_when_app_api_fails(self):
+ next_data = {
+ "props": {"pageProps": {"detail": {
+ "title": "这就是深圳",
+ "cover": "https://oss-xpc0.xpccdn.com/cover.jpg",
+ "vid": "P2MmN45WBmE7X0zL",
+ "video": {"appKey": "61a2f329348b3bf77", "vid": "P2MmN45WBmE7X0zL"},
+ "author": {"userinfo": {"id": 10767403, "username": "heart的旅行日记", "avatar": ""}},
+ }}}
+ }
+ page_response = Mock(status_code=200)
+ page_response.text = (
+ '"
+ )
+ media_response = Mock(status_code=200)
+ media_response.json.return_value = {
+ "status": 0,
+ "data": {"resource": {"progressive": [{"url": "https://us-xpc5.xpccdn.com/720p.mp4"}]}},
+ }
+ requested = []
+
+ def mock_get(url, **kwargs):
+ requested.append(url)
+ if "app.xinpianchang.com" in url:
+ return Mock(status_code=403)
+ if "www.xinpianchang.com/a11812492" in url:
+ return page_response
+ if "mod-api.xinpianchang.com/mod/api/v2/media/P2MmN45WBmE7X0zL" in url:
+ return media_response
+ return Mock(status_code=404)
+
+ with patch("requests.Session.get", side_effect=mock_get):
+ parser = XinpianchangParser("https://www.xinpianchang.com/a11812492?from=webShare&channel=copyLink")
+
+ self.assertEqual(parser.get_title_content(), "这就是深圳")
+ self.assertEqual(parser.get_video_list(), ["https://us-xpc5.xpccdn.com/720p.mp4"])
+ self.assertEqual(parser.get_author_info()["nickname"], "heart的旅行日记")
+ self.assertTrue(any("www.xinpianchang.com" in u for u in requested))
+
def test_invalid_url_handles_gracefully(self):
parser = XinpianchangParser("https://www.xinpianchang.com/invalid")
self.assertEqual(parser.get_title_content(), "")