From 8ecdc6c5b9ef9336c3ac22fa09e0fff0b7cc0a26 Mon Sep 17 00:00:00 2001 From: ucmao <294323976@qq.com> Date: Mon, 7 Sep 2026 23:40:23 +0800 Subject: [PATCH] =?UTF-8?q?=E5=A2=9E=E5=BC=BA=E8=A5=BF=E7=93=9C=E8=A7=86?= =?UTF-8?q?=E9=A2=91=E8=A7=A3=E6=9E=90=E5=B9=B6=E8=A1=A5=E5=85=85=E4=BB=8A?= =?UTF-8?q?=E6=97=A5=E5=A4=B4=E6=9D=A1=E6=A0=B7=E4=BE=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .gitignore | 6 +- data/.gitkeep | 0 docs/index.md | 6 +- docs/parsers/toutiao.md | 50 ++++++++++++ docs/parsers/xigua.md | 22 +++-- logs/.gitkeep | 0 src/parsers/toutiao_parser.py | 142 +++++++++++++++++++++++++++++++++ src/parsers/xigua_parser.py | 140 +++++++++++++++++++++++++++++++- tests/live_parser_samples.json | 17 +++- tests/test_toutiao_parser.py | 67 ++++++++++++++++ tests/test_xigua_parser.py | 52 ++++++++++++ 11 files changed, 482 insertions(+), 20 deletions(-) delete mode 100644 data/.gitkeep create mode 100644 docs/parsers/toutiao.md delete mode 100644 logs/.gitkeep create mode 100644 src/parsers/toutiao_parser.py create mode 100644 tests/test_toutiao_parser.py diff --git a/.gitignore b/.gitignore index 6b90a01..ce85513 100755 --- a/.gitignore +++ b/.gitignore @@ -44,10 +44,8 @@ gunicorn.log # 日志 & 临时文件 & 持久化数据 *.log -logs/* -!logs/.gitkeep -data/* -!data/.gitkeep +logs/ +data/ instance/ .pytest_cache/ .coverage diff --git a/data/.gitkeep b/data/.gitkeep deleted file mode 100644 index e69de29..0000000 diff --git a/docs/index.md b/docs/index.md index 187612d..dc41b9e 100644 --- a/docs/index.md +++ b/docs/index.md @@ -12,7 +12,7 @@ * 🔍 **[通用逆向方法论 (Reverse Engineering Guide)](reverse-guide.md)**:掌握 SSR 数据提取、H5 接口伪装、JS 签名沙箱及抓包 SOP。 * 🧪 **[测试与回归验证 (Testing Guide)](testing.md)**:学习 Pytest 单元测试、Mock 构造与真实样本(Live Samples)测试。 * 📖 **平台实战指南 (Parser Guides)**: - * **短视频与轻社区**:[抖音](parsers/douyin.md) | [快手](parsers/kuaishou.md) | [今日头条](parsers/xigua.md) | [皮皮虾](parsers/pipixia.md) | [皮皮搞笑](parsers/pipigaoxiao.md) | [最右](parsers/zuiyou.md) | [美拍](parsers/meipai.md) | [微视](parsers/weishi.md) | [绿洲](parsers/lvzhou.md) | [番茄小说/红果短剧/红果漫剧](parsers/fanqie.md) + * **短视频与轻社区**:[抖音](parsers/douyin.md) | [快手](parsers/kuaishou.md) | [今日头条](parsers/toutiao.md) | [西瓜视频](parsers/xigua.md) | [皮皮虾](parsers/pipixia.md) | [皮皮搞笑](parsers/pipigaoxiao.md) | [最右](parsers/zuiyou.md) | [美拍](parsers/meipai.md) | [微视](parsers/weishi.md) | [绿洲](parsers/lvzhou.md) | [番茄小说/红果短剧/红果漫剧](parsers/fanqie.md) * **图文与综合社区**:[小红书](parsers/xiaohongshu.md) | [微信公众号](parsers/wechat-mp.md) | [微博](parsers/weibo.md) | [知乎](parsers/zhihu.md) | [闲鱼](parsers/xianyu.md) | [Soul](parsers/soul.md) | [得物](parsers/dewu.md) | [网易LOFTER](parsers/lofter.md) * **长视频与电视/融媒**:[哔哩哔哩](parsers/bilibili.md) | [AcFun](parsers/acfun.md) | [央视](parsers/cctv.md) | [央视频](parsers/yangshipin.md) | [新片场](parsers/xinpianchang.md) | [好看视频](parsers/haokan.md) | [西瓜视频](parsers/xigua.md) | [剪映](parsers/jianying.md) | [快影](parsers/kwaiying.md) * **AI 生成与大模型**:[豆包 AI](parsers/doubao.md) | [星绘 AI](parsers/butterflyai.md) | [腾讯元宝](parsers/yuanbao.md) | [即梦 AI](parsers/jimeng.md) | [可灵 AI](parsers/kling.md) | [海螺 AI](parsers/hailuo.md) | [通义千问](parsers/qianwen.md) | [夸克 AI](parsers/quark-ai.md) | [小云雀 AI](parsers/xiaoyunque.md) | [松果时刻](parsers/pinecone-moment.md) @@ -52,8 +52,8 @@ | 21 | **虎牙** | 视频 / 录播 | ✅ 支持 | 🟢 免配置 | 移动端短链解析 | [查看指南](parsers/huya.md) | | 22 | **微信视频号** | 视频 / 图集 / 原声音频 | ✅ 支持 | 🔐 需 YUANBAO_COOKIE (媒体流/图集) | 视频号短链 + 腾讯元宝双轨解析 | [查看指南](parsers/wechat-channels.md) | | 23 | **腾讯视频/频道** | 视频 | ✅ 支持 | 🟢 免配置 | 企鹅频道分享解析 | [查看指南](parsers/tencent-channel.md) | -| 24 | **西瓜视频** | 视频 | ✅ 支持 | 🟢 免配置 | 字节系引擎继承解析 | [查看指南](parsers/xigua.md) | -| 25 | **今日头条** | 视频 / 微头条视频 | ✅ 支持 | 🟢 免配置 | 字节系引擎继承解析 | [查看指南](parsers/xigua.md) | +| 24 | **西瓜视频** | 视频 | ✅ 支持 | 🟢 免配置 | 移动端 SSR + 字节 VOD + 抖音链路兜底 | [查看指南](parsers/xigua.md) | +| 25 | **今日头条** | 视频 / 微头条视频 | ✅ 支持 | 🟢 免配置 | 移动端 SSR + 字节 VOD + 抖音链路兜底 | [查看指南](parsers/toutiao.md) | | 26 | **新片场** | 高清视频 | ✅ 支持 | 🟢 免配置 | Next.js SSR 播放页提取 | [查看指南](parsers/xinpianchang.md) | | 27 | **好看视频** | 百度短视频 | ✅ 支持 | 🟢 免配置 | 百度视频落地页提取 | [查看指南](parsers/haokan.md) | | 28 | **美拍** | 视频 | ✅ 支持 | 🟢 免配置 | 网页 MP4 流还原 | [查看指南](parsers/meipai.md) | diff --git a/docs/parsers/toutiao.md b/docs/parsers/toutiao.md new file mode 100644 index 0000000..4f9f05f --- /dev/null +++ b/docs/parsers/toutiao.md @@ -0,0 +1,50 @@ +# 今日头条 (Toutiao) 逆向解析指南 + +本篇详细记录字节跳动旗下 **今日头条 (Toutiao)** 视频、中长视频与微头条视频的逆向解析方案。 + +--- + +## 1. 平台特征与支持能力 + +* **平台标识**:`今日头条` +* **支持媒体类型**:高清视频 (MP4,最高 1080P/720P) / 封面图 / 视频标题 / 创作者信息 +* **常见链接形态**: + * 短链接:`https://m.toutiao.com/is/fLrXD62Zo2U/` + * 网页链接:`https://www.toutiao.com/video/7680960670263493172/` + * 移动端落地页:`https://m.toutiao.com/video/7680960670263493172/` 或 `https://m.toutiao.com/i7680960670263493172/` +* **Cookie 依赖**:🟢 免配置,无需任何 Cookie 即可直接匿名解析。 + +--- + +## 2. 核心逆向流程与架构设计 + +今日头条视频涵盖两种内容形态: + +### 2.1 头条原生中长视频 / 资讯视频 (`aid=13`) +1. **移动端 SSR 数据提取**: + * 携带移动端 `User-Agent` 请求移动落地页(如 `https://m.toutiao.com/video/{item_id}/` 或 `https://m.toutiao.com/i{item_id}/`)。 + * 提取页面中的 `