diff --git a/docs/parsers/douyin.md b/docs/parsers/douyin.md index 5475348..894ba10 100644 --- a/docs/parsers/douyin.md +++ b/docs/parsers/douyin.md @@ -217,6 +217,12 @@ abogus = signer.get_abogus(play_url, signer.user_agent) * 在 `bit_rate` 列表中综合评估:$\text{分辨率像素数 (Width} \times \text{Height)} \rightarrow \text{码率 (bit\_rate)} \rightarrow \text{文件体积 (data\_size)} \rightarrow \text{质量类型} \rightarrow \text{直链优先级}$; * 优先筛选兼容性最好的 H.264 编码最高画质流,杜绝 Web/移动端跨平台播放黑屏。 +### 4.9 播放端点清洗与无水印升清(`playwm` 自动纠正) +* **`playwm` 端点风险**:抖音分享页 SSR 数据在未下发 `bit_rate` 列表时,默认仅在 `play_addr.url_list` 中下发包含 `/playwm/`(Play With Watermark)的 720p 带水印地址(带有片头作者 ID 和片尾抖音 Logo); +* **无水印清洗与 1080P 升清**: + * 在 `_extract_best_url_from_play_addr` 中自动将 `/playwm/` 替换为 `/play/`; + * 同时将参数中的 `ratio=720p` 自动提升为 `ratio=1080p`,实现直连 1080P 原始无水印纯净流。 + --- ## 5. 常见踩坑记录与风控解法 (Gotchas) @@ -244,7 +250,6 @@ abogus = signer.get_abogus(play_url, signer.user_agent) 4. **重试次数降为 2 次与极速降级**:Web 重试上限设为 2 次,遇到突发网络波动或未配置 Cookie 时,在 **<0.5 秒内极速降级至分享页 SSR**,确保静态高清原图毫秒级产出,不再阻塞等待; 5. **兜底保障**:所有链路均配合终端状态(`_is_terminal_failure`)即时短路熔断机制。 - 5. **私密/日常/已删除链接的不可重试终端状态与智能短路熔断**: * *现象与机理*:用户传入“抖音日常(24小时可见)”、“私密(仅自己可见)”或“已被作者删除”的作品链接时,官方 Web 详情接口返回 HTTP 200,但带有 `filter_detail`(如 `status_self_see`、`status_deleted`、`status_part_see`)。此类作品本身已被平台限制访问,无论重试多少次都不会有数据。 * *旧版弊端*:若将此类 HTTP 200 的空响应视同为普通抓取失败,解析器会经历完整的 8 次指数退避重试以及 SSR HTML 兜底,导致单个失效链接耗时高达 11~14 秒,严重消耗并发连接池,且因统一返回模糊的 `MEDIA_NOT_FOUND`,容易诱导用户误判系统故障而反复狂刷重试。 @@ -253,6 +258,10 @@ abogus = signer.get_abogus(play_url, signer.user_agent) 2. **耗时断崖式下降**:将失效链接的处理耗时从 **11.3 秒压缩至 ~2 秒**(主要仅包含基础 302 跳转与单次 Web API 判定); 3. **精准原因透传**:将官方返回的限制文案(如 `因作品权限或已被删除,无法观看,去看看其他作品吧`)通过 `retdesc` 准确反馈给调用端与终端用户,彻底杜绝无意义的重试刷量。 +6. **分享页 SSR 兜底数据下发 `playwm` 带水印端点**: + * *现象*:部分未收录于 Feed 推荐流的视频在走移动端分享页 SSR 降级时,SSR `_ROUTER_DATA` 中仅包含 `video.play_addr` 且地址形式为 `/aweme/v1/playwm/?...`(720P 带片头作者水印与片尾抖音 Logo)。 + * *解法*:解析器在提取播放地址时,统一将 `/playwm/` 路径自动转换为 `/play/`,并同步将 `ratio=720p` 改写为 `ratio=1080p`,保证在任何兜底场景下输出的均为 1080P 真正无水印原画视频。 + --- ## 6. 测试与验证 @@ -260,9 +269,9 @@ abogus = signer.get_abogus(play_url, signer.user_agent) * **单元测试文件**:[tests/test_douyin_parser.py](file:///Users/leo/Projects/media-parser/tests/test_douyin_parser.py) * **执行测试**: ```bash - # 运行抖音专项全覆盖单元测试 (24 个用例,含移动端 Feed 主路径、容灾切换、Web API 降级与终端状态短路) + # 运行抖音专项全覆盖单元测试 (含移动端 Feed 主路径、容灾切换、Web API 降级、playwm清洗及终端状态短路) python -m unittest tests/test_douyin_parser.py - # 运行全平台回归测试 (300 个用例) + # 运行全平台回归测试 python -m unittest discover -s tests ``` diff --git a/src/parsers/douyin_parser.py b/src/parsers/douyin_parser.py index 8828fb8..73ea3dd 100644 --- a/src/parsers/douyin_parser.py +++ b/src/parsers/douyin_parser.py @@ -906,17 +906,27 @@ class DouyinParser(BaseParser): """ if not play_addr_dict or not isinstance(play_addr_dict, dict): return None + target_url = None url_list = play_addr_dict.get('url_list') or play_addr_dict.get('download_url_list') or [] if isinstance(url_list, list) and url_list: valid_urls = [u for u in url_list if isinstance(u, str) and u.strip()] if len(valid_urls) >= 3 and valid_urls[2]: - return valid_urls[2] - if valid_urls: - return valid_urls[0] + target_url = valid_urls[2] + elif valid_urls: + target_url = valid_urls[0] + if target_url: + if '/playwm/' in target_url: + target_url = target_url.replace('/playwm/', '/play/') + if 'ratio=720p' in target_url: + target_url = target_url.replace('ratio=720p', 'ratio=1080p') + return target_url + uri = play_addr_dict.get('uri') if uri and isinstance(uri, str): clean_uri = uri.strip() if clean_uri.startswith('http'): + if '/playwm/' in clean_uri: + clean_uri = clean_uri.replace('/playwm/', '/play/') return clean_uri if 'mp3' not in clean_uri.lower(): return DouyinParser._build_play_endpoint_url(clean_uri, ratio="1080p") diff --git a/tests/test_douyin_parser.py b/tests/test_douyin_parser.py index 74c6dd0..366ddfc 100644 --- a/tests/test_douyin_parser.py +++ b/tests/test_douyin_parser.py @@ -1051,6 +1051,20 @@ class DouyinParserTest(unittest.TestCase): # 验证空 uifid 时原样返回 self.assertEqual(DouyinParser._sign_secsdk(url, ""), url) + def test_extract_best_url_sanitizes_playwm_to_play(self): + """测试将 playwm 水印播放地址自动转换为无水印 play 播放地址并升级 ratio 为 1080p""" + play_addr = { + "uri": "v0d00fg10000dao171fog65tkue6mba0", + "url_list": [ + "https://aweme.snssdk.com/aweme/v1/playwm/?line=0&logo_name=aweme_diversion_search&ratio=720p&video_id=v0d00fg10000dao171fog65tkue6mba0" + ] + } + url = DouyinParser._extract_best_url_from_play_addr(play_addr) + self.assertNotIn("/playwm/", url) + self.assertIn("/play/", url) + self.assertIn("ratio=1080p", url) + self.assertNotIn("ratio=720p", url) + if __name__ == "__main__": unittest.main()