mirror of
https://github.com/ucmao/media-parser.git
synced 2026-11-20 08:04:56 +08:00
自动清洗抖音playwm水印端点并升级为1080P无水印原画
This commit is contained in:
+12
-3
@@ -217,6 +217,12 @@ abogus = signer.get_abogus(play_url, signer.user_agent)
|
||||
* 在 `bit_rate` 列表中综合评估:$\text{分辨率像素数 (Width} \times \text{Height)} \rightarrow \text{码率 (bit\_rate)} \rightarrow \text{文件体积 (data\_size)} \rightarrow \text{质量类型} \rightarrow \text{直链优先级}$;
|
||||
* 优先筛选兼容性最好的 H.264 编码最高画质流,杜绝 Web/移动端跨平台播放黑屏。
|
||||
|
||||
### 4.9 播放端点清洗与无水印升清(`playwm` 自动纠正)
|
||||
* **`playwm` 端点风险**:抖音分享页 SSR 数据在未下发 `bit_rate` 列表时,默认仅在 `play_addr.url_list` 中下发包含 `/playwm/`(Play With Watermark)的 720p 带水印地址(带有片头作者 ID 和片尾抖音 Logo);
|
||||
* **无水印清洗与 1080P 升清**:
|
||||
* 在 `_extract_best_url_from_play_addr` 中自动将 `/playwm/` 替换为 `/play/`;
|
||||
* 同时将参数中的 `ratio=720p` 自动提升为 `ratio=1080p`,实现直连 1080P 原始无水印纯净流。
|
||||
|
||||
---
|
||||
|
||||
## 5. 常见踩坑记录与风控解法 (Gotchas)
|
||||
@@ -244,7 +250,6 @@ abogus = signer.get_abogus(play_url, signer.user_agent)
|
||||
4. **重试次数降为 2 次与极速降级**:Web 重试上限设为 2 次,遇到突发网络波动或未配置 Cookie 时,在 **<0.5 秒内极速降级至分享页 SSR**,确保静态高清原图毫秒级产出,不再阻塞等待;
|
||||
5. **兜底保障**:所有链路均配合终端状态(`_is_terminal_failure`)即时短路熔断机制。
|
||||
|
||||
|
||||
5. **私密/日常/已删除链接的不可重试终端状态与智能短路熔断**:
|
||||
* *现象与机理*:用户传入“抖音日常(24小时可见)”、“私密(仅自己可见)”或“已被作者删除”的作品链接时,官方 Web 详情接口返回 HTTP 200,但带有 `filter_detail`(如 `status_self_see`、`status_deleted`、`status_part_see`)。此类作品本身已被平台限制访问,无论重试多少次都不会有数据。
|
||||
* *旧版弊端*:若将此类 HTTP 200 的空响应视同为普通抓取失败,解析器会经历完整的 8 次指数退避重试以及 SSR HTML 兜底,导致单个失效链接耗时高达 11~14 秒,严重消耗并发连接池,且因统一返回模糊的 `MEDIA_NOT_FOUND`,容易诱导用户误判系统故障而反复狂刷重试。
|
||||
@@ -253,6 +258,10 @@ abogus = signer.get_abogus(play_url, signer.user_agent)
|
||||
2. **耗时断崖式下降**:将失效链接的处理耗时从 **11.3 秒压缩至 ~2 秒**(主要仅包含基础 302 跳转与单次 Web API 判定);
|
||||
3. **精准原因透传**:将官方返回的限制文案(如 `因作品权限或已被删除,无法观看,去看看其他作品吧`)通过 `retdesc` 准确反馈给调用端与终端用户,彻底杜绝无意义的重试刷量。
|
||||
|
||||
6. **分享页 SSR 兜底数据下发 `playwm` 带水印端点**:
|
||||
* *现象*:部分未收录于 Feed 推荐流的视频在走移动端分享页 SSR 降级时,SSR `_ROUTER_DATA` 中仅包含 `video.play_addr` 且地址形式为 `/aweme/v1/playwm/?...`(720P 带片头作者水印与片尾抖音 Logo)。
|
||||
* *解法*:解析器在提取播放地址时,统一将 `/playwm/` 路径自动转换为 `/play/`,并同步将 `ratio=720p` 改写为 `ratio=1080p`,保证在任何兜底场景下输出的均为 1080P 真正无水印原画视频。
|
||||
|
||||
---
|
||||
|
||||
## 6. 测试与验证
|
||||
@@ -260,9 +269,9 @@ abogus = signer.get_abogus(play_url, signer.user_agent)
|
||||
* **单元测试文件**:[tests/test_douyin_parser.py](file:///Users/leo/Projects/media-parser/tests/test_douyin_parser.py)
|
||||
* **执行测试**:
|
||||
```bash
|
||||
# 运行抖音专项全覆盖单元测试 (24 个用例,含移动端 Feed 主路径、容灾切换、Web API 降级与终端状态短路)
|
||||
# 运行抖音专项全覆盖单元测试 (含移动端 Feed 主路径、容灾切换、Web API 降级、playwm清洗及终端状态短路)
|
||||
python -m unittest tests/test_douyin_parser.py
|
||||
|
||||
# 运行全平台回归测试 (300 个用例)
|
||||
# 运行全平台回归测试
|
||||
python -m unittest discover -s tests
|
||||
```
|
||||
|
||||
@@ -906,17 +906,27 @@ class DouyinParser(BaseParser):
|
||||
"""
|
||||
if not play_addr_dict or not isinstance(play_addr_dict, dict):
|
||||
return None
|
||||
target_url = None
|
||||
url_list = play_addr_dict.get('url_list') or play_addr_dict.get('download_url_list') or []
|
||||
if isinstance(url_list, list) and url_list:
|
||||
valid_urls = [u for u in url_list if isinstance(u, str) and u.strip()]
|
||||
if len(valid_urls) >= 3 and valid_urls[2]:
|
||||
return valid_urls[2]
|
||||
if valid_urls:
|
||||
return valid_urls[0]
|
||||
target_url = valid_urls[2]
|
||||
elif valid_urls:
|
||||
target_url = valid_urls[0]
|
||||
if target_url:
|
||||
if '/playwm/' in target_url:
|
||||
target_url = target_url.replace('/playwm/', '/play/')
|
||||
if 'ratio=720p' in target_url:
|
||||
target_url = target_url.replace('ratio=720p', 'ratio=1080p')
|
||||
return target_url
|
||||
|
||||
uri = play_addr_dict.get('uri')
|
||||
if uri and isinstance(uri, str):
|
||||
clean_uri = uri.strip()
|
||||
if clean_uri.startswith('http'):
|
||||
if '/playwm/' in clean_uri:
|
||||
clean_uri = clean_uri.replace('/playwm/', '/play/')
|
||||
return clean_uri
|
||||
if 'mp3' not in clean_uri.lower():
|
||||
return DouyinParser._build_play_endpoint_url(clean_uri, ratio="1080p")
|
||||
|
||||
@@ -1051,6 +1051,20 @@ class DouyinParserTest(unittest.TestCase):
|
||||
# 验证空 uifid 时原样返回
|
||||
self.assertEqual(DouyinParser._sign_secsdk(url, ""), url)
|
||||
|
||||
def test_extract_best_url_sanitizes_playwm_to_play(self):
|
||||
"""测试将 playwm 水印播放地址自动转换为无水印 play 播放地址并升级 ratio 为 1080p"""
|
||||
play_addr = {
|
||||
"uri": "v0d00fg10000dao171fog65tkue6mba0",
|
||||
"url_list": [
|
||||
"https://aweme.snssdk.com/aweme/v1/playwm/?line=0&logo_name=aweme_diversion_search&ratio=720p&video_id=v0d00fg10000dao171fog65tkue6mba0"
|
||||
]
|
||||
}
|
||||
url = DouyinParser._extract_best_url_from_play_addr(play_addr)
|
||||
self.assertNotIn("/playwm/", url)
|
||||
self.assertIn("/play/", url)
|
||||
self.assertIn("ratio=1080p", url)
|
||||
self.assertNotIn("ratio=720p", url)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
unittest.main()
|
||||
|
||||
Reference in New Issue
Block a user