diff --git a/README.md b/README.md index dbb006b..c5a3bca 100644 --- a/README.md +++ b/README.md @@ -1,7 +1,7 @@ > [!IMPORTANT] > **即将维护公告** > -> 综合考虑个人维护成本、平台规则和内容授权风险,Media-Parser 即将停止维护,预计于 **2026 年 12 月 1 日前**移除大部分平台解析源码及相关操作指南。需要留存当前版本的开发者,欢迎尽快 **Fork**。如果项目曾帮到你,也欢迎点个 **Star**,一起冲 **512 星** ⭐。想继续交流,欢迎扫描下方二维码加微信,备注 `media-parser` 入群。请遵守适用法律及各平台规则,仅处理自有或已获授权的内容,并尊重平台访问限制和权利人的技术保护措施。 +> 综合考虑个人维护成本、平台规则和内容授权风险,Media-Parser 即将停止维护,预计于 **2027 年 1 月 1 日前**移除大部分平台解析源码及相关操作指南。需要留存当前版本的开发者,欢迎尽快 **Fork**。如果项目曾帮到你,也欢迎点个 **Star**,一起冲 **512 星** ⭐。想继续交流,欢迎扫描下方二维码加微信,备注 `media-parser` 入群。请遵守适用法律及各平台规则,仅处理自有或已获授权的内容,并尊重平台访问限制和权利人的技术保护措施。
Media-Parser Logo diff --git a/docs/api.md b/docs/api.md index 9314689..054dd6b 100644 --- a/docs/api.md +++ b/docs/api.md @@ -136,8 +136,9 @@ curl -X POST "http://localhost:5000/api/v1/parse" \ | `retcode` | `error_code` | `retdesc` 描述 | 说明与处理建议 | | :---: | :--- | :--- | :--- | | **400** | `MEDIA_DELETED_OR_PRIVATE` | `因作品权限或已被删除,无法观看...` | 作品已被作者删除、设置为仅自己可见、朋友可见或日常权限限制(终态不可重试) | +| **400** | `MEDIA_UNDER_REVIEW` | `该作品刚发布,正在抖音审核中,暂时无法查看,请几分钟后重试` | 抖音作品刚发布(2 小时内)仍处于审核期,接口返回仅自己可见;稍后重试通常即可成功 | | **400** | `NO_MEDIA_IN_CONTENT` | `该分享内容仅包含文本对话,未包含图片或视频资源` | 豆包等 AI 对话分享仅有文字问答,无多媒体附件 | -| **400** | `XIAOHONGSHU_COOKIE_REQUIRED` | `解析失败:该链接需要小红书登录 Cookie 校验...` | 小红书触发安全反爬校验,需在环境配置有效 Cookie | +| **400** | `XIAOHONGSHU_COOKIE_REQUIRED` | `解析失败:该链接需要小红书登录 Cookie 校验...` | 小红书触发安全反爬校验(含 `/404/sec_*`、`error_code=300031`「当前笔记暂时无法浏览」风控页),需更新有效 Cookie 或稍后重试 | | **400** | `PINDUODUO_COOKIE_REQUIRED` | `解析失败:该链接需要拼多多登录 Cookie 校验...` | 拼多多 dsp 接口需 Cookie 凭据 | | **400** | `WECHAT_CHANNELS_COOKIE_REQUIRED` | `解析失败:该链接需要配置腾讯元宝 YUANBAO_COOKIE 凭证...` | 微信视频号解析通道凭据失效 | | **400** | `MEDIA_NOT_FOUND` | `提取媒体内容失败,请检查链接或稍后重试` | 未能从目标页面提取到有效音视频或图集 | diff --git a/docs/parsers/douyin.md b/docs/parsers/douyin.md index 894ba10..534decd 100644 --- a/docs/parsers/douyin.md +++ b/docs/parsers/douyin.md @@ -28,6 +28,11 @@ * **普通视频与普通图文 (100% 免配)**:完全无需用户登录 Cookie。常规视频直连**移动端 Feed 核心通道**(免 Argus 门禁、免 Cookie、免签名、毫秒级直出);普通图文自动通过分享页 SSR 提取高清原图。 * **LivePhoto 实况照片 (`live_photo_url`)**:实况视频流仅由 PC Web 详情 API (`/aweme/v1/web/aweme/detail/`) 下发。在云服务器(机房 IP)下受字节跳动严格风控,需在 `.env` 中配置 `DOUYIN_COOKIE`,且必须包含完整登录 Cookie(含 `sessionid`, `sessionid_ss`, `passport_csrf_token`, `odin_tt` 等)以及 `UIFID` 字段。解析器会自动计算 `x-secsdk-web-signature` 签名并注入 `uifid` 请求头,完美穿透网关阻断;若未配置或遭遇不可抗力风控,自动保底降级为全量静态无水印原图。 * **放映厅长片 (`/lvdetail/`)**:受字节跳动严格风控保护,可在 `.env` 中配置人机滑块通行证 `DOUYIN_COOKIE="s_v_web_id=verify_..."`(代码已做路由隔离,常规作品会自动剔除过期验证码)。 +* **环境变量控制**: + * `DOUYIN_COOKIE`:实况 LivePhoto 视频流或特定风控页面所需的登录凭据与 UIFID。 + * `DOUYIN_ENABLE_MOBILE_FEED`:是否启用移动端 Feed 核心通道免风控直出(默认 `1` 启用)。 + * `DOUYIN_UNDER_REVIEW_MAX_AGE`:刚发布作品审核中状态判别窗口(秒,默认 `7200` 即 2 小时;处于该窗口内返回 `status_self_see` 视作 `MEDIA_UNDER_REVIEW` 审核中)。 + * `DOUYIN_API_MAX_ATTEMPTS`:Web 详情接口重试上限(默认 `2` 次)。 --- @@ -250,13 +255,17 @@ abogus = signer.get_abogus(play_url, signer.user_agent) 4. **重试次数降为 2 次与极速降级**:Web 重试上限设为 2 次,遇到突发网络波动或未配置 Cookie 时,在 **<0.5 秒内极速降级至分享页 SSR**,确保静态高清原图毫秒级产出,不再阻塞等待; 5. **兜底保障**:所有链路均配合终端状态(`_is_terminal_failure`)即时短路熔断机制。 -5. **私密/日常/已删除链接的不可重试终端状态与智能短路熔断**: - * *现象与机理*:用户传入“抖音日常(24小时可见)”、“私密(仅自己可见)”或“已被作者删除”的作品链接时,官方 Web 详情接口返回 HTTP 200,但带有 `filter_detail`(如 `status_self_see`、`status_deleted`、`status_part_see`)。此类作品本身已被平台限制访问,无论重试多少次都不会有数据。 - * *旧版弊端*:若将此类 HTTP 200 的空响应视同为普通抓取失败,解析器会经历完整的 8 次指数退避重试以及 SSR HTML 兜底,导致单个失效链接耗时高达 11~14 秒,严重消耗并发连接池,且因统一返回模糊的 `MEDIA_NOT_FOUND`,容易诱导用户误判系统故障而反复狂刷重试。 - * *解法与收益*: - 1. **终端状态即时短路**:在 `_is_terminal_failure` 中精确识别 `filter_detail` 与不可恢复业务语义,命中后立即终止重试,跳过无意义的 8 次循环及 SSR 兜底; - 2. **耗时断崖式下降**:将失效链接的处理耗时从 **11.3 秒压缩至 ~2 秒**(主要仅包含基础 302 跳转与单次 Web API 判定); - 3. **精准原因透传**:将官方返回的限制文案(如 `因作品权限或已被删除,无法观看,去看看其他作品吧`)通过 `retdesc` 准确反馈给调用端与终端用户,彻底杜绝无意义的重试刷量。 +5. **私密/日常/已删除链接的不可重试终端状态与刚发布审核中智能判别**: + * *现象与机理*:用户传入“抖音日常(24小时可见)”、“私密(仅自己可见)”或“已被作者删除”的作品链接时,官方 Web 详情接口返回 HTTP 200,但带有 `filter_detail`(如 `status_self_see`、`status_deleted`、`status_part_see`)。此类作品通常已被平台限制访问。 + * *刚发布审核中(`status_self_see` 动态识别)*: + * **平台特殊机制**:抖音创作者刚发布的新作品在平台审核通过前,接口会统一临时返回 `status_self_see`(仅自己可见),几分钟审核完毕后即可正常公开解析。 + * **时间戳逆向解算**:抖音 `aweme_id` 采用雪花/时间戳 ID 生成算法,**高 32 位为秒级发布时间戳**(`int(aweme_id) >> 32`)。 + * **精准区分与可重试透传**:当接口命中 `status_self_see` 时,解析器自动计算作品发布时长。若处于审核窗口期(由环境变量 `DOUYIN_UNDER_REVIEW_MAX_AGE` 控制,默认 7200 秒 / 2 小时),则将其标记为 `MEDIA_UNDER_REVIEW` 并返回提示文案 *“该作品刚发布,正在抖音审核中,暂时无法查看,请几分钟后重试”*,供调用端与用户稍后重试,避免被误判为永久删除或私密。 + * *真正终态短路熔断*: + * 超过审核时限仍为 `status_self_see`、或命中 `status_deleted` / `status_part_see` 等状态时,立即判定为不可恢复的终端状态; + * **终端状态即时短路**:在 `_is_terminal_failure` 中精确识别 `filter_detail` 与不可恢复业务语义,命中后立即终止重试,跳过无意义的 8 次循环及 SSR 兜底; + * **耗时断崖式下降**:将失效链接的处理耗时从 **11.3 秒压缩至 ~2 秒**(主要仅包含基础 302 跳转与单次 Web API 判定); + * **精准原因透传**:将官方返回的限制文案(如 `因作品权限或已被删除,无法观看,去看看其他作品吧`)通过 `retdesc` 准确反馈给调用端与终端用户,彻底杜绝无意义的重试刷量。 6. **分享页 SSR 兜底数据下发 `playwm` 带水印端点**: * *现象*:部分未收录于 Feed 推荐流的视频在走移动端分享页 SSR 降级时,SSR `_ROUTER_DATA` 中仅包含 `video.play_addr` 且地址形式为 `/aweme/v1/playwm/?...`(720P 带片头作者水印与片尾抖音 Logo)。 diff --git a/docs/parsers/xiaohongshu.md b/docs/parsers/xiaohongshu.md index 44fd432..813a5c4 100644 --- a/docs/parsers/xiaohongshu.md +++ b/docs/parsers/xiaohongshu.md @@ -112,6 +112,7 @@ if match: 5. **缺少 `xsec_token` 触发平台 404 风控拦截 (错误码 300031)**: * *原因*:直接截断的笔记 URL 或部分旧短链若未包含 `xsec_token`,小红书安全网关会强制重定向至 `/404/sec_...`(“当前笔记暂时无法浏览”)。 * *解法*:分享链接必须保留完整的 `xsec_token` 签名;重定向提取器完整保留来源签名参数。 + * *错误码*:命中 `/404/sec_*`、`xhs_sec_server` 或 `error_code=300031` 时返回 `XIAOHONGSHU_COOKIE_REQUIRED`(会触发代理换 IP 重试),不再误报为 `MEDIA_DELETED_OR_PRIVATE`;实测携带 `xsec_token` 的公开笔记在被风控的出口 IP 上同样会落到该页。 6. **已删除 / 私密笔记识别与错误码精准透传 (`MEDIA_DELETED_OR_PRIVATE`)**: * 当笔记被作者删除或设置为私密不可见时,小红书会返回 `404?source=note¬eId=...` 或 SSR 数据中 `noteDetailMap[firstNoteId]['note']` 为 `{}`。 * API 层优先透传解析器的 `terminal_error`(状态码 `MEDIA_DELETED_OR_PRIVATE`),避免将已删除作品误报为 `XIAOHONGSHU_COOKIE_REQUIRED`。 diff --git a/docs/parsers/xinpianchang.md b/docs/parsers/xinpianchang.md index 67962be..d238ff9 100644 --- a/docs/parsers/xinpianchang.md +++ b/docs/parsers/xinpianchang.md @@ -1,29 +1,116 @@ # 新片场 (Xinpianchang) 逆向解析指南 -本篇详细记录影视创作人社区 **新片场** 4K/1080P 高清影视作品的抓取方案。 +本篇详细记录影视创作人社区 **新片场** 4K/1080P 高清影视作品的抓取方案、App API 与 Web SSR 双轨容灾机制、防盗链请求头及踩坑经验。 --- ## 1. 平台特征与支持能力 * **平台标识**:`新片场` -* **支持媒体类型**:原画/高清视频 (MP4/HLS) / 作品封面 / 创作人信息 +* **支持媒体类型**: + * 原画/多清晰度渐进式视频流列表 (`video_list`,包含 4K/1080P/720P 等多码率 MP4 直链) + * 首选播放直链 (`video_url` 取最高清可用直链) + * 作品静态高清封面 (`cover_url`) + * 创作人信息 (昵称 `nickname`、主页 ID `author_id`、头像 `avatar`) * **常见链接形态**: * 网页链接:`https://www.xinpianchang.com/a13792376` -* **Cookie 依赖**:无需 Cookie。 + * 网页带参数分享链:`https://www.xinpianchang.com/a11812492?from=webShare&channel=copyLink` +* **Cookie 依赖**:无需 Cookie(公开作品 100% 免登解析)。 --- -## 2. 核心逆向流程 +## 2. 链路追踪与 ID 提取 -1. **提取文章/视频 ID**:从 URL 中提取 `a\d+` 或 `article_id`。 -2. **提取 `__NEXT_DATA__` 或播放器 API**: - * 新片场使用 Next.js SSR 渲染,从首屏 `__NEXT_DATA__` 中解析视频播放配置; - * 或调用新片场 API 获取 `video_url` 及多清晰度档位。 +1. **302 重定向**:通过 `WebFetcher.fetch_redirect_url` 跟随短链跳转至标准长链接。 +2. **Article ID 提取**: + * 优先正则匹配 `/a(?P\d+)`; + * 其次匹配 query 参数 `article_id=(\d+)`; + * 若均为非标准路径,从 path 纯数字段正则回退匹配 `\d{5,}` 提取作品数字 ID。 --- -## 3. 测试与验证 +## 3. 核心逆向方案与双轨容灾架构 -* **单元测试**:[tests/test_xinpianchang_parser.py](file:///Users/leo/Projects/media-parser/tests/test_xinpianchang_parser.py) -* **执行命令**:`pytest tests/test_xinpianchang_parser.py` +新片场解析采用 **App 移动端 Article API 主路径 + PC 网页端 Next.js SSR `__NEXT_DATA__` 兜底路径 + Mod 媒体播放器接口** 的双轨高可用架构。 + +```mermaid +flowchart TD + A["输入新片场链接"] --> B["提取 article_id"] + B --> C["1. 请求 App Article API
app.xinpianchang.com/article/{article_id}"] + C --> D{"App API 是否成功?"} + D -->|"成功 (status == 0)"| G["提取 title / cover / author / vid / appKey"] + D -->|"失败 / 403 / 格式异常"| E["2. 回退 PC 网页端 Next.js SSR
www.xinpianchang.com/a{article_id}
(限制 PC UA + Accept: */*)"] + E --> F{"SSR 提取是否成功?"} + F -->|"成功"| G + F -->|"失败"| H["解析终止并记录 Warning"] + G --> I["3. 请求 Mod 媒体接口
mod-api.xinpianchang.com/mod/api/v2/media/{vid}?appKey={appKey}
(注入 Referer / Origin 防盗链头)"] + I --> J["提取 progressive 多清晰度视频直链列表"] + J --> K["完成解析输出 (video_url / video_list / cover / author)"] +``` + +### 3.1 App 核心文章接口(主路径) +* **接口端点**: + ```text + GET https://app.xinpianchang.com/article/{article_id} + ``` +* **请求头**:携带移动端 User-Agent 与 `Accept: application/json, text/plain, */*`。 +* **数据结构**:返回 JSON 中 `data` 节点包含: + * `title`:作品标题; + * `cover`:封面图片 URL; + * `author.userinfo`:创作者信息(`id`, `username`, `avatar`); + * `vid` / `media_id` / `video.vid`:底层视频媒体 ID; + * `video.appKey`:视频媒体鉴权 Key(若缺失则使用内置默认 Key `61a2f329348b3bf77` 兜底)。 + +### 3.2 网页端 Next.js SSR `__NEXT_DATA__` 提取(容灾降级路径) +当 App 接口因 IP 限流、云服务器出口封锁或返回非 200 时,自动回退到网页端 SSR 解析: +* **目标地址**:`https://www.xinpianchang.com/a{article_id}` +* **关键请求要求**: + * 必须使用 **PC 端 User-Agent**:若使用移动端 UA,服务端会 302 重定向到移动 H5 精简页,页面内不注入 `__NEXT_DATA__`; + * 请求头必须指定 **`Accept: */*`**:若带浏览器默认的富文本 `text/html,...`,某些 CDN 节点会下发精简版静态 HTML。 +* **数据提取**: + * 正则提取 ``; + * 解析 JSON 中的 `props.pageProps.detail`,该节点数据结构与 App 接口 `data` 保持完全一致,无需额外做字段适配。 + +### 3.3 Mod 媒体播放器接口提取视频直链 +* **接口端点**: + ```text + GET https://mod-api.xinpianchang.com/mod/api/v2/media/{vid}?appKey={app_key} + ``` +* **防盗链请求头**: + * `Referer: https://www.xinpianchang.com/` + * `Origin: https://www.xinpianchang.com` +* **视频流解析**: + * 解析 `data.resource.progressive` 数组; + * 提取所有合法 HTTP/HTTPS 视频流地址; + * 通过 `dict.fromkeys(urls)` 去重并保持清晰度顺序输出至 `video_list`。 + +--- + +## 4. 常见踩坑记录与防盗链 (Gotchas) + +1. **移动端 UA 请求网页导致 `__NEXT_DATA__` 丢失**: + * *现象*:回退到网页端抓取时,若复用移动端 UA 会被自动重定向至移动 H5 页,导致正则查找 `', resp.text or "", re.S) + if not match: + logger.warning("Xinpianchang page has no __NEXT_DATA__ for %s", self.article_id) + return None + detail = json.loads(match.group(1)).get("props", {}).get("pageProps", {}).get("detail") + except Exception as exc: + logger.warning("Xinpianchang page fallback failed for %s: %s", self.article_id, exc) + return None + return detail if isinstance(detail, dict) else None + + def _fetch_video_list(self, vid, app_key): + mod_url = self.MEDIA_API.format(vid=vid, app_key=app_key) + try: + mod_resp = self.session.get(mod_url, headers=self.media_headers, timeout=10) + if mod_resp.status_code != 200: + logger.warning("Xinpianchang media API HTTP %s for vid %s", mod_resp.status_code, vid) + return [] + mod_json = mod_resp.json() + except Exception as exc: + logger.warning("Xinpianchang media API failed for vid %s: %s", vid, exc) + return [] + if mod_json.get("status") != 0 or not isinstance(mod_json.get("data"), dict): + logger.warning("Xinpianchang media API returned error for vid %s: %s", vid, str(mod_json)[:200]) + return [] + progressive = (mod_json["data"].get("resource") or {}).get("progressive") or [] + urls = [ + p["url"] + for p in progressive + if isinstance(p, dict) and isinstance(p.get("url"), str) and p["url"].startswith("http") + ] + if not urls: + logger.warning("Xinpianchang media API has no playable progressive url for vid %s", vid) + return list(dict.fromkeys(urls)) + def _parse(self): if not self.article_id: logger.warning("Unable to extract Xinpianchang article_id from URL: %s", self.real_url) return - article_url = self.ARTICLE_API.format(article_id=self.article_id) - try: - resp = self.session.get(article_url, headers=self.headers, timeout=10) - resp.raise_for_status() - res_json = resp.json() - if res_json.get("status") != 0 or not isinstance(res_json.get("data"), dict): - logger.warning("Xinpianchang article API returned error: %s", res_json) - return + data = self._fetch_article_from_api() or self._fetch_article_from_page() + if not data: + return - data = res_json["data"] - self.title = data.get("title") - self.cover_url = data.get("cover") + self.title = data.get("title") + self.cover_url = data.get("cover") - author_info = data.get("author", {}).get("userinfo", {}) - if isinstance(author_info, dict) and author_info: - author_id = author_info.get("id") - self.author = { - "nickname": author_info.get("username") or "", - "author_id": str(author_id) if author_id else "", - "avatar": author_info.get("avatar") or "", - } + author_info = (data.get("author") or {}).get("userinfo") or {} + if isinstance(author_info, dict) and author_info: + author_id = author_info.get("id") + self.author = { + "nickname": author_info.get("username") or "", + "author_id": str(author_id) if author_id else "", + "avatar": author_info.get("avatar") or "", + } - vid = data.get("vid") or data.get("media_id") - app_key = data.get("video", {}).get("appKey") or "61a2f329348b3bf77" + video = data.get("video") or {} + vid = data.get("vid") or data.get("media_id") or video.get("vid") + app_key = video.get("appKey") or self.DEFAULT_APP_KEY + if not vid: + logger.warning("Xinpianchang article %s has no vid", self.article_id) + return - if vid: - mod_url = self.MEDIA_API.format(vid=vid, app_key=app_key) - mod_resp = self.session.get(mod_url, headers=self.headers, timeout=10) - if mod_resp.status_code == 200: - mod_json = mod_resp.json() - if mod_json.get("status") == 0 and isinstance(mod_json.get("data"), dict): - mod_data = mod_json["data"] - progressive = mod_data.get("resource", {}).get("progressive", []) - urls = [ - p["url"] - for p in progressive - if isinstance(p, dict) and p.get("url") and p["url"].startswith("http") - ] - self.video_list = list(dict.fromkeys(urls)) - except Exception as exc: - logger.warning("Failed to fetch Xinpianchang data: %s", exc) + self.video_list = self._fetch_video_list(vid, app_key) def get_real_video_url(self): return self.video_url diff --git a/templates/components/api_docs.html b/templates/components/api_docs.html index 4a21bc6..70ba64b 100644 --- a/templates/components/api_docs.html +++ b/templates/components/api_docs.html @@ -284,6 +284,11 @@ MEDIA_DELETED_OR_PRIVATE 目标内容为私密作品、仅好友可见的日常/动态,或已被作者删除下架。 + + 400 + MEDIA_UNDER_REVIEW + 抖音作品刚发布仍在审核中,暂时仅作者可见;等待几分钟后重试通常即可成功。 + 400 NO_MEDIA_IN_CONTENT diff --git a/templates/landing.html b/templates/landing.html index 3c8c549..b0afb70 100644 --- a/templates/landing.html +++ b/templates/landing.html @@ -1083,6 +1083,14 @@ } // 3. 作品自身状态(删除/私密/无媒体) + if (code === 'MEDIA_UNDER_REVIEW') { + return { + title: '作品审核中', + message: '该作品刚刚发布,平台仍在审核,暂时无法查看。', + hint: '请等待几分钟,审核通过后再重新解析。', + tag: '审核中' + }; + } if (code === 'MEDIA_DELETED_OR_PRIVATE') { return { title: '作品不可查看', diff --git a/tests/test_douyin_parser.py b/tests/test_douyin_parser.py index 366ddfc..67f6f08 100644 --- a/tests/test_douyin_parser.py +++ b/tests/test_douyin_parser.py @@ -1,4 +1,5 @@ import json +import time import os import unittest import urllib.parse @@ -750,6 +751,45 @@ class DouyinParserTest(unittest.TestCase): mock_ssr.assert_not_called() self.assertIsNone(parser.data) + def _terminal_parser(self, aweme_id, filter_reason): + payload = { + "status_code": 0, + "aweme_detail": None, + "filter_detail": { + "aweme_id": aweme_id, + "detail_msg": "因作品权限或已被删除,无法观看,去看看其他作品吧", + "filter_reason": filter_reason, + "notice": "抱歉,作品不见了", + }, + } + mock_resp = Mock(status_code=200, text=json.dumps(payload)) + mock_resp.json.return_value = payload + with patch.object(DouyinParser, "_request_mobile_feed", return_value=None): + with patch.object(DouyinParser, "_try_share_ssr_detail", return_value=None): + with patch.object(DouyinParser, "fetch_html_content"): + with patch("requests.Session.get", return_value=mock_resp): + return DouyinParser(f"https://www.douyin.com/video/{aweme_id}") + + @staticmethod + def _aweme_id_published_at(ts): + return str((int(ts) << 32) | 123456) + + def test_fresh_self_see_is_reported_as_under_review(self): + aweme_id = self._aweme_id_published_at(time.time() - 120) + parser = self._terminal_parser(aweme_id, "status_self_see") + self.assertEqual(parser.terminal_error["error_code"], "MEDIA_UNDER_REVIEW") + self.assertIn("审核", parser.terminal_error["detail_msg"]) + + def test_old_self_see_stays_private(self): + aweme_id = self._aweme_id_published_at(time.time() - 3 * 86400) + parser = self._terminal_parser(aweme_id, "status_self_see") + self.assertNotIn("error_code", parser.terminal_error) + + def test_fresh_deleted_stays_deleted(self): + aweme_id = self._aweme_id_published_at(time.time() - 60) + parser = self._terminal_parser(aweme_id, "status_deleted") + self.assertNotIn("error_code", parser.terminal_error) + def test_share_ssr_precedence_over_web_api(self): aweme_id = "7675236180098600202" ssr_payload = { diff --git a/tests/test_xiaohongshu_parser.py b/tests/test_xiaohongshu_parser.py index 9eebdb7..afdd13e 100644 --- a/tests/test_xiaohongshu_parser.py +++ b/tests/test_xiaohongshu_parser.py @@ -118,6 +118,32 @@ class XiaohongshuParserTest(unittest.TestCase): self.assertIn("需在后台系统设置中配置小红书 Cookie", parser.terminal_error["detail_msg"]) + def _parser_for_final_url(self, final_url): + from unittest.mock import Mock, patch + import os + resp = Mock(status_code=200, url=final_url, text="") + with patch("requests.Session.get", return_value=resp): + with patch.dict(os.environ, {"XHS_COOKIE": ""}): + return XiaohongshuParser("https://www.xiaohongshu.com/discovery/item/69fc84830000000023016c37") + + def test_security_404_is_risk_control_not_deleted(self): + parser = self._parser_for_final_url( + "https://www.xiaohongshu.com/404?source=/404/sec_mRapqfwO?redirectPath=x&error_code=300031&error_msg=x" + ) + self.assertEqual(parser.terminal_error["error_code"], "XIAOHONGSHU_COOKIE_REQUIRED") + self.assertIn("风控", parser.terminal_error["detail_msg"]) + + def test_mobile_security_404_is_risk_control(self): + parser = self._parser_for_final_url( + "https://www.xiaohongshu.com/404/sec_dgXCGSbw?source=xhs_sec_server&originalUrl=x" + ) + self.assertEqual(parser.terminal_error["error_code"], "XIAOHONGSHU_COOKIE_REQUIRED") + + def test_plain_404_is_still_deleted(self): + parser = self._parser_for_final_url("https://www.xiaohongshu.com/404?source=note") + self.assertNotIn("error_code", parser.terminal_error) + self.assertIn("删除", parser.terminal_error["detail_msg"]) + if __name__ == "__main__": unittest.main() diff --git a/tests/test_xinpianchang_parser.py b/tests/test_xinpianchang_parser.py index dee5b6b..7b987ca 100644 --- a/tests/test_xinpianchang_parser.py +++ b/tests/test_xinpianchang_parser.py @@ -1,3 +1,4 @@ +import json import unittest from unittest.mock import Mock, patch @@ -6,8 +7,7 @@ from src.parsers.xinpianchang_parser import XinpianchangParser class XinpianchangParserTest(unittest.TestCase): def test_parses_xinpianchang_article_and_media(self): - article_response = Mock() - article_response.raise_for_status.return_value = None + article_response = Mock(status_code=200) article_response.json.return_value = { "status": 0, "data": { @@ -67,6 +67,47 @@ class XinpianchangParserTest(unittest.TestCase): }, ) + def test_falls_back_to_web_page_when_app_api_fails(self): + next_data = { + "props": {"pageProps": {"detail": { + "title": "这就是深圳", + "cover": "https://oss-xpc0.xpccdn.com/cover.jpg", + "vid": "P2MmN45WBmE7X0zL", + "video": {"appKey": "61a2f329348b3bf77", "vid": "P2MmN45WBmE7X0zL"}, + "author": {"userinfo": {"id": 10767403, "username": "heart的旅行日记", "avatar": ""}}, + }}} + } + page_response = Mock(status_code=200) + page_response.text = ( + '" + ) + media_response = Mock(status_code=200) + media_response.json.return_value = { + "status": 0, + "data": {"resource": {"progressive": [{"url": "https://us-xpc5.xpccdn.com/720p.mp4"}]}}, + } + requested = [] + + def mock_get(url, **kwargs): + requested.append(url) + if "app.xinpianchang.com" in url: + return Mock(status_code=403) + if "www.xinpianchang.com/a11812492" in url: + return page_response + if "mod-api.xinpianchang.com/mod/api/v2/media/P2MmN45WBmE7X0zL" in url: + return media_response + return Mock(status_code=404) + + with patch("requests.Session.get", side_effect=mock_get): + parser = XinpianchangParser("https://www.xinpianchang.com/a11812492?from=webShare&channel=copyLink") + + self.assertEqual(parser.get_title_content(), "这就是深圳") + self.assertEqual(parser.get_video_list(), ["https://us-xpc5.xpccdn.com/720p.mp4"]) + self.assertEqual(parser.get_author_info()["nickname"], "heart的旅行日记") + self.assertTrue(any("www.xinpianchang.com" in u for u in requested)) + def test_invalid_url_handles_gracefully(self): parser = XinpianchangParser("https://www.xinpianchang.com/invalid") self.assertEqual(parser.get_title_content(), "")