mirror of
https://github.com/ucmao/media-parser.git
synced 2026-11-20 08:04:56 +08:00
重构媒体解析流程并优化相关组件
This commit is contained in:
@@ -18,7 +18,7 @@
|
||||
|
||||
通过“智能识别 -> 本地抓取 -> 提取地址 -> 快捷下载”的闭环,助你高效获取无水印素材。
|
||||
|
||||
**100%本地原生实现,不依赖外部解析API,不套壳第三方解析库,核心逻辑纯逆向开源。**
|
||||
**100%本地原生实现,不依赖外部API,不封装第三方解析库,核心逆向逻辑完全开源。**
|
||||
|
||||
</div>
|
||||
|
||||
|
||||
@@ -1,7 +1,9 @@
|
||||
{
|
||||
"DOMAIN_TO_NAME": {
|
||||
"www.xiaohongshu.com": "小红书",
|
||||
"www.douyin.com": "抖音",
|
||||
{
|
||||
"DOMAIN_TO_NAME": {
|
||||
"www.xiaohongshu.com": "小红书",
|
||||
"xhslink.com": "小红书",
|
||||
"xhslink.cn": "小红书",
|
||||
"www.douyin.com": "抖音",
|
||||
"www.iesdouyin.com": "抖音",
|
||||
"www.kuaishou.com": "快手",
|
||||
"v.kuaishou.com": "快手",
|
||||
@@ -9,38 +11,46 @@
|
||||
"c.kuaishou.com": "快手",
|
||||
"v.m.chenzhongtech.com": "快手",
|
||||
"m.chenzhongtech.com": "快手",
|
||||
"www.bilibili.com": "哔哩哔哩",
|
||||
"haokan.baidu.com": "好看视频",
|
||||
"haokan.hao123.com": "好看视频",
|
||||
"isee.weishi.qq.com": "微视",
|
||||
"video.weishi.qq.com": "微视",
|
||||
"www.pearvideo.com": "梨视频",
|
||||
"h5.pipigx.com": "皮皮搞笑",
|
||||
"m.acfun.cn": "AcFun",
|
||||
"www.acfun.cn": "AcFun",
|
||||
"www.bilibili.com": "哔哩哔哩",
|
||||
"b23.tv": "哔哩哔哩",
|
||||
"m.bilibili.com": "哔哩哔哩",
|
||||
"haokan.baidu.com": "好看视频",
|
||||
"haokan.hao123.com": "好看视频",
|
||||
"isee.weishi.qq.com": "微视",
|
||||
"video.weishi.qq.com": "微视",
|
||||
"www.pearvideo.com": "梨视频",
|
||||
"h5.pipigx.com": "皮皮搞笑",
|
||||
"h5.ippzone.com": "皮皮搞笑",
|
||||
"m.acfun.cn": "AcFun",
|
||||
"www.acfun.cn": "AcFun",
|
||||
"weibo.com": "微博",
|
||||
"m.weibo.cn": "微博",
|
||||
"video.weibo.com": "微博",
|
||||
"h5.video.weibo.com": "微博",
|
||||
"t.cn": "微博",
|
||||
"www.ixigua.com": "西瓜视频",
|
||||
"v.ixigua.com": "西瓜视频",
|
||||
"www.zhihu.com": "知乎",
|
||||
"zhuanlan.zhihu.com": "知乎",
|
||||
"www.huya.com": "虎牙",
|
||||
"v.huya.com": "虎牙",
|
||||
"m.huya.com": "虎牙",
|
||||
"oasis.weibo.cn": "绿洲",
|
||||
"www.meipai.com": "美拍",
|
||||
"meipai.com": "美拍",
|
||||
"pipix.com": "皮皮虾",
|
||||
"h5.pipix.com": "皮皮虾",
|
||||
"kg.qq.com": "全民K歌",
|
||||
"kg2.qq.com": "全民K歌",
|
||||
"www.xinpianchang.com": "新片场",
|
||||
"xinpianchang.com": "新片场",
|
||||
"izuiyou.com": "最右",
|
||||
"www.huya.com": "虎牙",
|
||||
"v.huya.com": "虎牙",
|
||||
"m.huya.com": "虎牙",
|
||||
"hy.fan": "虎牙",
|
||||
"oasis.weibo.cn": "绿洲",
|
||||
"www.meipai.com": "美拍",
|
||||
"meipai.com": "美拍",
|
||||
"pipix.com": "皮皮虾",
|
||||
"h5.pipix.com": "皮皮虾",
|
||||
"kg.qq.com": "全民K歌",
|
||||
"kg2.qq.com": "全民K歌",
|
||||
"static-play.kg.qq.com": "全民K歌",
|
||||
"www.xinpianchang.com": "新片场",
|
||||
"xinpianchang.com": "新片场",
|
||||
"izuiyou.com": "最右",
|
||||
"share.xiaochuankeji.cn": "最右",
|
||||
"www.doubao.com": "豆包",
|
||||
"jimeng.jianying.com": "即梦AI",
|
||||
"m.jimeng.jianying.com": "即梦AI",
|
||||
"v.jimeng.aiseet.atry.com": "即梦AI",
|
||||
"xiaoyunque.jianying.com": "小云雀AI",
|
||||
"klingai-share.kuaishou.com": "可灵AI",
|
||||
|
||||
@@ -45,7 +45,11 @@ flowchart TD
|
||||
ParseAPI --> WebFetcher
|
||||
ParseAPI --> Factory
|
||||
Factory --> BaseParser
|
||||
BaseParser --> Douyin & Kuaishou & XHS & Bili & Others
|
||||
BaseParser --> Douyin
|
||||
BaseParser --> Kuaishou
|
||||
BaseParser --> XHS
|
||||
BaseParser --> Bili
|
||||
BaseParser --> Others
|
||||
Douyin --> Signer
|
||||
ParseAPI --> CommonUtils
|
||||
```
|
||||
|
||||
+40
-38
@@ -12,52 +12,54 @@
|
||||
* 🔍 **[通用逆向方法论 (Reverse Engineering Guide)](reverse-guide.md)**:掌握 SSR 数据提取、H5 接口伪装、JS 签名沙箱及抓包 SOP。
|
||||
* 🧪 **[测试与回归验证 (Testing Guide)](testing.md)**:学习 Pytest 单元测试、Mock 构造与真实样本(Live Samples)测试。
|
||||
* 📖 **平台实战指南 (Parser Guides)**:
|
||||
* **短视频与轻社区**:[抖音](parsers/short-video/douyin.md) | [快手](parsers/short-video/kuaishou.md) | [皮皮虾](parsers/short-video/pipixia.md) | [皮皮搞笑](parsers/short-video/pipigaoxiao.md) | [最右](parsers/short-video/zuiyou.md) | [美拍](parsers/short-video/meipai.md) | [微视](parsers/short-video/weishi.md) | [绿洲](parsers/short-video/lvzhou.md)
|
||||
* **图文与综合社区**:[小红书](parsers/community/xiaohongshu.md) | [微博](parsers/community/weibo.md) | [知乎](parsers/community/zhihu.md) | [闲鱼](parsers/community/xianyu.md) | [Soul](parsers/community/soul.md)
|
||||
* **长视频与弹幕/创作**:[哔哩哔哩](parsers/video-streaming/bilibili.md) | [AcFun](parsers/video-streaming/acfun.md) | [新片场](parsers/video-streaming/xinpianchang.md) | [好看视频](parsers/video-streaming/haokan.md) | [西瓜视频](parsers/video-streaming/xigua.md) | [剪映](parsers/video-streaming/jianying.md)
|
||||
* **AI 生成与大模型**:[豆包 AI](parsers/ai-generation/doubao.md) | [即梦 AI](parsers/ai-generation/jimeng.md) | [可灵 AI](parsers/ai-generation/kling.md) | [通义千问](parsers/ai-generation/qianwen.md) | [夸克 AI](parsers/ai-generation/quark-ai.md) | [小云雀 AI](parsers/ai-generation/xiaoyunque.md)
|
||||
* **音频与垂直频道**:[汽水音乐](parsers/audio-others/qsmusic.md) | [全民K歌](parsers/audio-others/quanminkge.md) | [虎牙](parsers/audio-others/huya.md) | [梨视频](parsers/audio-others/lishipin.md) | [微信视频号](parsers/audio-others/wechat-channels.md) | [腾讯频道](parsers/audio-others/tencent-channel.md)
|
||||
* **短视频与轻社区**:[抖音](parsers/douyin.md) | [快手](parsers/kuaishou.md) | [皮皮虾](parsers/pipixia.md) | [皮皮搞笑](parsers/pipigaoxiao.md) | [最右](parsers/zuiyou.md) | [美拍](parsers/meipai.md) | [微视](parsers/weishi.md) | [绿洲](parsers/lvzhou.md)
|
||||
* **图文与综合社区**:[小红书](parsers/xiaohongshu.md) | [微博](parsers/weibo.md) | [知乎](parsers/zhihu.md) | [闲鱼](parsers/xianyu.md) | [Soul](parsers/soul.md)
|
||||
* **长视频与弹幕/创作**:[哔哩哔哩](parsers/bilibili.md) | [AcFun](parsers/acfun.md) | [新片场](parsers/xinpianchang.md) | [好看视频](parsers/haokan.md) | [西瓜视频](parsers/xigua.md) | [剪映](parsers/jianying.md)
|
||||
* **AI 生成与大模型**:[豆包 AI](parsers/doubao.md) | [即梦 AI](parsers/jimeng.md) | [可灵 AI](parsers/kling.md) | [通义千问](parsers/qianwen.md) | [夸克 AI](parsers/quark-ai.md) | [小云雀 AI](parsers/xiaoyunque.md)
|
||||
* **音频与垂直频道**:[汽水音乐](parsers/qsmusic.md) | [全民K歌](parsers/quanminkge.md) | [虎牙](parsers/huya.md) | [梨视频](parsers/lishipin.md) | [微信视频号](parsers/wechat-channels.md) | [腾讯频道](parsers/tencent-channel.md)
|
||||
|
||||
---
|
||||
|
||||
## 📊 平台支持与测试状态矩阵
|
||||
|
||||
> **图例说明**:
|
||||
> * ✅ **支持 / 已验证** | ⚠️ **条件依赖 (如需 Cookie)** | ❌ **不支持 / 无需配置**
|
||||
> * 🟢 **免配置**:无需提供任何 Cookie 或账号凭证,拉起服务即可直接解析。
|
||||
> * ⚠️ **部分依赖**:绝大部分内容免登录,极少部分敏感/受限内容需在环境配置 Cookie。
|
||||
> * 🔐 **必须配置**:平台强校验登录态,需在 `.env` 中提供对应 Cookie 后使用。
|
||||
|
||||
| 序号 | 平台名称 | 支持媒体类型 | 无水印直链 | 需配置 Cookie | 逆向提取模式 | 对应指南 |
|
||||
| 序号 | 平台名称 | 支持媒体类型 | 无水印直链 | 配置门槛 (Cookie 依赖) | 逆向提取模式 | 对应指南 |
|
||||
| :--- | :--- | :--- | :---: | :---: | :--- | :--- |
|
||||
| 1 | **抖音** | 视频 / 图文 / LivePhoto / 音频 | ✅ | ❌ | a_bogus 签名 + 动态 ttwid | [查看指南](parsers/short-video/douyin.md) |
|
||||
| 2 | **小红书** | 图文 / LivePhoto / 视频 | ✅ | ⚠️ 部分需 Cookie | SSR HTML 注入数据提取 | [查看指南](parsers/community/xiaohongshu.md) |
|
||||
| 3 | **快手** | 视频 / 图文 / 音频 | ✅ | ❌ (已内置游客凭证) | GraphQL / H5 双端多路由 Fallback | [查看指南](parsers/short-video/kuaishou.md) |
|
||||
| 4 | **哔哩哔哩** | 视频 (MP4) / 音频分流 | ✅ | ❌ | 官方 View + PlayURL API | [查看指南](parsers/video-streaming/bilibili.md) |
|
||||
| 5 | **豆包 AI** | AI 视频生成直链 | ✅ | ✅ `DOUBAO_COOKIE` | Web Session 维持 + 任务轮询 | [查看指南](parsers/ai-generation/doubao.md) |
|
||||
| 6 | **即梦 AI** | AI 视频生成直链 | ✅ | ❌ | 移动分享端接口解析 | [查看指南](parsers/ai-generation/jimeng.md) |
|
||||
| 7 | **可灵 AI** | AI 视频生成直链 | ✅ | ❌ | 快手可灵 H5 分享接口 | [查看指南](parsers/ai-generation/kling.md) |
|
||||
| 8 | **通义千问** | AI 图文 / 图像生成 | ✅ | ⚠️ `YUANBAO_COOKIE` | AI Studio 移动分享端抓取 | [查看指南](parsers/ai-generation/qianwen.md) |
|
||||
| 9 | **夸克 AI** | AI 图文 / 图像 | ✅ | ❌ | 夸克 H5 分享路由解析 | [查看指南](parsers/ai-generation/quark-ai.md) |
|
||||
| 10 | **小云雀 AI** | AI 图文 / 图像 | ✅ | ❌ | 剪映小云雀分享端 | [查看指南](parsers/ai-generation/xiaoyunque.md) |
|
||||
| 11 | **微博** | 视频 / 微博正文 / 多图 | ✅ | ❌ | 移动端 H5 接口 + Base62 解码 | [查看指南](parsers/community/weibo.md) |
|
||||
| 12 | **知乎** | 视频 (Video Pin) / 想法 / 问答 | ✅ | ❌ | Web API 多路由正则提取 | [查看指南](parsers/community/zhihu.md) |
|
||||
| 13 | **皮皮虾** | 视频 / 图文 | ✅ | ❌ | H5 接口数据解析 | [查看指南](parsers/short-video/pipixia.md) |
|
||||
| 14 | **皮皮搞笑** | 视频 | ✅ | ❌ | H5 页面 JSON 提取 | [查看指南](parsers/short-video/pipigaoxiao.md) |
|
||||
| 15 | **最右** | 视频 / 图集 | ✅ | ❌ | H5 接口键值映射提取 | [查看指南](parsers/short-video/zuiyou.md) |
|
||||
| 16 | **AcFun** | 视频 (m3u8/MP4) | ✅ | ❌ | KSPlayer 播放器参数还原 | [查看指南](parsers/video-streaming/acfun.md) |
|
||||
| 17 | **汽水音乐** | UGC 视频 / 背景原声 | ✅ | ❌ | 字节系分享 API | [查看指南](parsers/audio-others/qsmusic.md) |
|
||||
| 18 | **全民K歌** | 视频 / 伴奏音频 | ✅ | ❌ | H5 播放页正则提取 | [查看指南](parsers/audio-others/quanminkge.md) |
|
||||
| 19 | **虎牙** | 视频 / 录播 | ✅ | ❌ | 移动端短链解析 | [查看指南](parsers/audio-others/huya.md) |
|
||||
| 20 | **微信视频号** | 视频 | ✅ | ❌ | 视频号短链解析 | [查看指南](parsers/audio-others/wechat-channels.md) |
|
||||
| 21 | **腾讯视频/频道** | 视频 | ✅ | ❌ | 企鹅频道分享解析 | [查看指南](parsers/audio-others/tencent-channel.md) |
|
||||
| 22 | **西瓜视频** | 视频 | ✅ | ❌ | 字节系引擎继承解析 | [查看指南](parsers/video-streaming/xigua.md) |
|
||||
| 23 | **新片场** | 高清视频 | ✅ | ❌ | Next.js SSR 播放页提取 | [查看指南](parsers/video-streaming/xinpianchang.md) |
|
||||
| 24 | **好看视频** | 百度短视频 | ✅ | ❌ | 百度视频落地页提取 | [查看指南](parsers/video-streaming/haokan.md) |
|
||||
| 25 | **美拍** | 视频 | ✅ | ❌ | 网页 MP4 流还原 | [查看指南](parsers/short-video/meipai.md) |
|
||||
| 26 | **微视** | 腾讯微视视频 | ✅ | ❌ | 微视开放接口 | [查看指南](parsers/short-video/weishi.md) |
|
||||
| 27 | **绿洲** | 新浪绿洲图文 | ✅ | ❌ | 微博绿洲 H5 提取 | [查看指南](parsers/short-video/lvzhou.md) |
|
||||
| 28 | **闲鱼** | 闲鱼图文贴 | ✅ | ❌ | 淘系分享页解析 | [查看指南](parsers/community/xianyu.md) |
|
||||
| 29 | **Soul** | 视频 / 瞬间 | ✅ | ❌ | Web 话题页解析 | [查看指南](parsers/community/soul.md) |
|
||||
| 30 | **剪映** | 剪映模板视频 | ✅ | ❌ | 字节剪映 API | [查看指南](parsers/video-streaming/jianying.md) |
|
||||
| 31 | **梨视频** | 资讯短视频 | ✅ | ❌ | 动态防盗链时间戳解密 | [查看指南](parsers/audio-others/lishipin.md) |
|
||||
| 1 | **抖音** | 视频 / 图文 / LivePhoto / 音频 | ✅ 支持 | 🟢 免配置 | a_bogus 签名 + 动态 ttwid | [查看指南](parsers/douyin.md) |
|
||||
| 2 | **小红书** | 图文 / LivePhoto / 视频 | ✅ 支持 | ⚠️ 部分需 Cookie | SSR HTML 注入数据提取 | [查看指南](parsers/xiaohongshu.md) |
|
||||
| 3 | **快手** | 视频 / 图文 / 音频 | ✅ 支持 | 🟢 免配置 (内置游客凭证) | GraphQL / H5 双端多路由 Fallback | [查看指南](parsers/kuaishou.md) |
|
||||
| 4 | **哔哩哔哩** | 视频 (MP4) / 音频分流 | ✅ 支持 | 🟢 免配置 | 官方 View + PlayURL API | [查看指南](parsers/bilibili.md) |
|
||||
| 5 | **豆包 AI** | AI 视频生成直链 | ✅ 支持 | 🔐 需 `DOUBAO_COOKIE` | Web Session 维持 + 任务轮询 | [查看指南](parsers/doubao.md) |
|
||||
| 6 | **即梦 AI** | AI 视频生成直链 | ✅ 支持 | 🟢 免配置 | 移动分享端接口解析 | [查看指南](parsers/jimeng.md) |
|
||||
| 7 | **可灵 AI** | AI 视频生成直链 | ✅ 支持 | 🟢 免配置 | 快手可灵 H5 分享接口 | [查看指南](parsers/kling.md) |
|
||||
| 8 | **通义千问** | AI 图文 / 图像生成 | ✅ 支持 | ⚠️ 需 `YUANBAO_COOKIE` | AI Studio 移动分享端抓取 | [查看指南](parsers/qianwen.md) |
|
||||
| 9 | **夸克 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 夸克 H5 分享路由解析 | [查看指南](parsers/quark-ai.md) |
|
||||
| 10 | **小云雀 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 剪映小云雀分享端 | [查看指南](parsers/xiaoyunque.md) |
|
||||
| 11 | **微博** | 视频 / 微博正文 / 多图 | ✅ 支持 | 🟢 免配置 | 移动端 H5 接口 + Base62 解码 | [查看指南](parsers/weibo.md) |
|
||||
| 12 | **知乎** | 视频 (Video Pin) / 想法 / 问答 | ✅ 支持 | 🟢 免配置 | Web API 多路由正则提取 | [查看指南](parsers/zhihu.md) |
|
||||
| 13 | **皮皮虾** | 视频 / 图文 | ✅ 支持 | 🟢 免配置 | H5 接口数据解析 | [查看指南](parsers/pipixia.md) |
|
||||
| 14 | **皮皮搞笑** | 视频 | ✅ 支持 | 🟢 免配置 | H5 页面 JSON 提取 | [查看指南](parsers/pipigaoxiao.md) |
|
||||
| 15 | **最右** | 视频 / 图集 | ✅ 支持 | 🟢 免配置 | H5 接口键值映射提取 | [查看指南](parsers/zuiyou.md) |
|
||||
| 16 | **AcFun** | 视频 (m3u8/MP4) | ✅ 支持 | 🟢 免配置 | KSPlayer 播放器参数还原 | [查看指南](parsers/acfun.md) |
|
||||
| 17 | **汽水音乐** | UGC 视频 / 背景原声 | ✅ 支持 | 🟢 免配置 | 字节系分享 API | [查看指南](parsers/qsmusic.md) |
|
||||
| 18 | **全民K歌** | 视频 / 伴奏音频 | ✅ 支持 | 🟢 免配置 | H5 播放页正则提取 | [查看指南](parsers/quanminkge.md) |
|
||||
| 19 | **虎牙** | 视频 / 录播 | ✅ 支持 | 🟢 免配置 | 移动端短链解析 | [查看指南](parsers/huya.md) |
|
||||
| 20 | **微信视频号** | 视频 | ✅ 支持 | 🟢 免配置 | 视频号短链解析 | [查看指南](parsers/wechat-channels.md) |
|
||||
| 21 | **腾讯视频/频道** | 视频 | ✅ 支持 | 🟢 免配置 | 企鹅频道分享解析 | [查看指南](parsers/tencent-channel.md) |
|
||||
| 22 | **西瓜视频** | 视频 | ✅ 支持 | 🟢 免配置 | 字节系引擎继承解析 | [查看指南](parsers/xigua.md) |
|
||||
| 23 | **新片场** | 高清视频 | ✅ 支持 | 🟢 免配置 | Next.js SSR 播放页提取 | [查看指南](parsers/xinpianchang.md) |
|
||||
| 24 | **好看视频** | 百度短视频 | ✅ 支持 | 🟢 免配置 | 百度视频落地页提取 | [查看指南](parsers/haokan.md) |
|
||||
| 25 | **美拍** | 视频 | ✅ 支持 | 🟢 免配置 | 网页 MP4 流还原 | [查看指南](parsers/meipai.md) |
|
||||
| 26 | **微视** | 腾讯微视视频 | ✅ 支持 | 🟢 免配置 | 微视开放接口 | [查看指南](parsers/weishi.md) |
|
||||
| 27 | **绿洲** | 新浪绿洲图文 | ✅ 支持 | 🟢 免配置 | 微博绿洲 H5 提取 | [查看指南](parsers/lvzhou.md) |
|
||||
| 28 | **闲鱼** | 闲鱼图文贴 | ✅ 支持 | 🟢 免配置 | 淘系分享页解析 | [查看指南](parsers/xianyu.md) |
|
||||
| 29 | **Soul** | 视频 / 瞬间 | ✅ 支持 | 🟢 免配置 | Web 话题页解析 | [查看指南](parsers/soul.md) |
|
||||
| 30 | **剪映** | 剪映模板视频 | ✅ 支持 | 🟢 免配置 | 字节剪映 API | [查看指南](parsers/jianying.md) |
|
||||
| 31 | **梨视频** | 资讯短视频 | ✅ 支持 | 🟢 免配置 | 动态防盗链时间戳解密 | [查看指南](parsers/lishipin.md) |
|
||||
|
||||
---
|
||||
|
||||
|
||||
@@ -27,18 +27,18 @@
|
||||
```mermaid
|
||||
flowchart TD
|
||||
Start["输入豆包分享 URL"] --> Route{"判断 URL 路径"}
|
||||
Route -->|"/thread/xxx"| ThreadFlow["1. 会话线程解析 (_parse_thread)"]
|
||||
Route -->|"/video-sharing"| VideoFlow["2. 独立视频解析 (_parse_video_sharing)"]
|
||||
Route -->|"路径包含 /thread/"| ThreadFlow["1. 会话线程解析"]
|
||||
Route -->|"路径为 /video-sharing"| VideoFlow["2. 独立视频解析"]
|
||||
|
||||
ThreadFlow --> ScriptPayload["提取 HTML 中 script 注入的 JSON 负载"]
|
||||
ScriptPayload --> Creations["递归遍历提取 creation 实体 (视频/图像)"]
|
||||
|
||||
VideoFlow --> AuthCheck{"是否配置了 DOUBAO_COOKIE?"}
|
||||
AuthCheck -->|已配置| SamanthaAPI["调用 /samantha/media/get_play_info"]
|
||||
SamanthaAPI --> AES["执行 FPLAY KDF 盐值派生 + AES-128-CBC 解密"]
|
||||
AuthCheck -->|"已配置 Cookie"| SamanthaAPI["调用 samantha/media/get_play_info"]
|
||||
SamanthaAPI --> AES["执行 FPLAY KDF 盐值派生与 AES-128-CBC 解密"]
|
||||
AES --> HDVideo["获得 1080P 纯净无水印原画视频 (3960kbps)"]
|
||||
|
||||
AuthCheck -->|未配置 (降级)| ShareAPI["调用 /creativity/share/get_video_share_info"]
|
||||
AuthCheck -->|"未配置 (自动降级)"| ShareAPI["调用 creativity/share/get_video_share_info"]
|
||||
ShareAPI --> StripParam["清理 URL 水印参数 (降级为带水印预览切片)"]
|
||||
```
|
||||
|
||||
@@ -0,0 +1,92 @@
|
||||
# 快手 (Kuaishou) 逆向解析指南
|
||||
|
||||
本篇详细记录快手短视频、图文图集(ATLAS)的多路由容灾抓取机制与防封策略。
|
||||
|
||||
---
|
||||
|
||||
## 1. 平台特征与支持能力
|
||||
|
||||
* **平台标识**:`快手`
|
||||
* **支持媒体类型**:
|
||||
* 无水印高清短视频 (MP4)
|
||||
* 高清图文图集 (ATLAS 图集)
|
||||
* 背景音乐音频 (Audio)
|
||||
* **常见链接形态**:
|
||||
* App 短链:`https://v.kuaishou.com/xxxx`
|
||||
* 移动端 H5 落地页:`https://v.m.chenzhongtech.com/fw/photo/3xbr5pi8hxi4e6s`(含 `*.m.chenzhongtech.com` 随机子域名)
|
||||
* PC 网页长链:`https://www.kuaishou.com/short-video/3xbr5pi8hxi4e6s`
|
||||
* **Cookie 依赖**:无需用户登录,解析器已内置经过脱敏的高权重游客签名 Cookie。
|
||||
|
||||
---
|
||||
|
||||
## 2. 核心逆向方案:双端多路由 Fallback 容灾
|
||||
|
||||
快手不同公开路由的封控力度和可用性波动较大。在 [KuaishouParser](file:///Users/leo/Projects/media-parser/src/parsers/kuaishou_parser.py) 中,我们设计了**双端请求与多路由自适应降级重试机制**:
|
||||
|
||||
```mermaid
|
||||
flowchart TD
|
||||
Start["获取快手视频 ID"] --> Route1["尝试路由 1: 原始落地页 (移动端 UA 优先)"]
|
||||
Route1 --> Check1{"是否有效状态 (非 result:2)?"}
|
||||
Check1 -->|"是"| Success["解析成功,提取媒体"]
|
||||
Check1 -->|"否 (命中风控)"| Route2["降级路由 1 (桌面端 UA 兜底)"]
|
||||
Route2 --> Check2{"校验成功?"}
|
||||
Check2 -->|"是"| Success
|
||||
Check2 -->|"否"| Route3["自动降级路由 2: chenzhongtech 移动端网关"]
|
||||
Route3 --> Check3{"校验成功?"}
|
||||
Check3 -->|"是"| Success
|
||||
Check3 -->|"否"| Fail["返回解析失败"]
|
||||
```
|
||||
|
||||
### 2.1 候选路由构建 (`_candidate_urls`)
|
||||
* 优先使用 302 重定向后的原生落地页(兼容快手随机生成的 `*.m.chenzhongtech.com` 泛子域名)。
|
||||
* 备用使用移动端专用解析网关:`https://v.m.chenzhongtech.com/fw/photo/{video_id}`。
|
||||
|
||||
### 2.2 风控识别与双端 UA 请求策略
|
||||
* **桌面端封控拦截**:快手对桌面端请求风控严格,使用桌面端 User-Agent 请求极易返回 `{"result": 2, "error_msg": null}` 的 63 字节阻断 JSON。
|
||||
* **移动端优先策略**:移动端 User-Agent 能够稳定获取约 186KB 的完整 HTML 页面数据(挂载在 `window.INIT_STATE`)。因此解析器采用**移动端 User-Agent 优先请求,桌面端 User-Agent 携带 Cookie 作为兜底**的设计。
|
||||
* **风控熔断**:解析器通过 `_is_blocked_payload` 识别 `result == 2` 阻断响应,一旦命中立即触发备用通道。
|
||||
|
||||
---
|
||||
|
||||
## 3. 数据提取规则
|
||||
|
||||
### 3.1 数据载体双模兼容 (Apollo vs INIT_STATE)
|
||||
快手不同版本与端的数据挂载方式不同,解析器通过 `_identify_and_parse_data` 实现了双模自动识别:
|
||||
* **新版移动端载体 (`window.INIT_STATE`)**:移动端 H5 页面的标准格式,数据为嵌套的 `photo` 字典结构。
|
||||
* **旧版/PC 载体 (`window.__APOLLO_STATE__`)**:PC 端页面格式,数据扁平挂载在 `defaultClient` 树下。
|
||||
|
||||
### 3.2 视频数据提取
|
||||
* **新版字段 (`mainMvUrls`)**:优先从 `photo.mainMvUrls`(数组格式)提取高质量无水印直链:
|
||||
```python
|
||||
video_url = photo.get('mainMvUrls', [{}])[0].get('url')
|
||||
```
|
||||
* **旧版字段 (`photoUrl`)**:兼容旧版 Apollo 树下的 `VisionVideoDetailPhoto:{video_id}.photoUrl` 字符串。
|
||||
* **流媒体备用**:从流媒体清单 `manifest.adaptationSet` 中提取备用流或 m3u8 切片。
|
||||
|
||||
### 3.3 图集 (ATLAS) 提取
|
||||
* 快手图文内容在数据结构中标识为 `ATLAS`,图片 CDN 列表位于 `photo.atlas.list` 或 `ext_params.atlas`。
|
||||
* 遍历图片路径列表,优先选择 WebP 高清格式,并结合 CDN 域名(`atlas.cdn` / `atlas.cdnList`)拼接完整大图 URL。
|
||||
|
||||
---
|
||||
|
||||
## 4. 常见踩坑记录 (Gotchas)
|
||||
|
||||
1. **User-Agent 导致的风控差异**:
|
||||
* 桌面端 UA 会触发返回仅 63 字节的 `{"result":2}` 拦截响应;必须伪装真实的移动端 UA 才能稳定获取完整 180KB+ 页面。
|
||||
2. **数据载体与结构变迁**:
|
||||
* 快手已从旧版 Apollo 状态机转向 `window.INIT_STATE`,视频字段从单一 `photoUrl` 变为 `mainMvUrls` 数组,需做好双向兼容。
|
||||
3. **随机跳转域名**:
|
||||
* 短链重定向可能会跳转到 `*.m.chenzhongtech.com` 随机子域名,需基于 `video_id` 规范化构建候选路由。
|
||||
4. **IP 访问频率限制**:
|
||||
* 在移动端路由中必须伪装成真实的移动端浏览器 Headers(如 `v.m.chenzhongtech.com` 的专用 Referer)。
|
||||
|
||||
---
|
||||
|
||||
## 5. 测试与验证
|
||||
|
||||
* **单元测试**:[tests/test_kuaishou_parser.py](file:///Users/leo/Projects/media-parser/tests/test_kuaishou_parser.py)
|
||||
* **执行命令**:
|
||||
```bash
|
||||
pytest tests/test_kuaishou_parser.py
|
||||
python tests/manual_verify_parsers.py --platform 快手
|
||||
```
|
||||
@@ -1,77 +0,0 @@
|
||||
# 快手 (Kuaishou) 逆向解析指南
|
||||
|
||||
本篇详细记录快手短视频、图文图集(ATLAS)的多路由容灾抓取机制与防封策略。
|
||||
|
||||
---
|
||||
|
||||
## 1. 平台特征与支持能力
|
||||
|
||||
* **平台标识**:`快手`
|
||||
* **支持媒体类型**:
|
||||
* 无水印高清短视频 (MP4)
|
||||
* 高清图文图集 (ATLAS 图集)
|
||||
* 背景音乐音频 (Audio)
|
||||
* **常见链接形态**:
|
||||
* App 短链:`https://v.kuaishou.com/xxxx`
|
||||
* 移动端 H5 落地页:`https://v.m.chenzhongtech.com/fw/photo/3xbr5pi8hxi4e6s`
|
||||
* PC 网页长链:`https://www.kuaishou.com/short-video/3xbr5pi8hxi4e6s`
|
||||
* **Cookie 依赖**:无需用户登录,解析器已内置经过脱敏的高权重游客签名 Cookie。
|
||||
|
||||
---
|
||||
|
||||
## 2. 核心逆向方案:双端多路由 Fallback 容灾
|
||||
|
||||
快手不同公开路由的封控力度和可用性波动较大。在 [KuaishouParser](file:///Users/leo/Projects/media-parser/src/parsers/kuaishou_parser.py) 中,我们设计了**多路由自适应降级重试机制**:
|
||||
|
||||
```mermaid
|
||||
flowchart TD
|
||||
Start["获取快手视频 ID (photo_id)"] --> Route1["尝试路由 1: 原始落地页 (PC/H5)"]
|
||||
Route1 --> Check1{"是否有效状态 (非 result:2 风控)?"}
|
||||
Check1 -- Yes --> Success["解析成功,提取媒体"]
|
||||
Check1 -- No --> Route2["自动降级路由 2: chenzhongtech 移动端 H5 接口"]
|
||||
Route2 --> Check2{"校验成功?"}
|
||||
Check2 -- Yes --> Success
|
||||
Check2 -- No --> Fail["返回解析失败"]
|
||||
```
|
||||
|
||||
### 2.1 候选路由构建 (`_candidate_urls`)
|
||||
* 优先使用 302 重定向后的原生落地页。
|
||||
* 备用使用移动端专用解析网关:`https://v.m.chenzhongtech.com/fw/photo/{video_id}`。
|
||||
|
||||
### 2.2 风控识别与拦截检测
|
||||
当快手触发安全拦截时,接口或页面通常直接返回 `{"result": 2}` JSON 负载。解析器通过 `_is_blocked_payload` 自动拦截此类响应并立即触发备用通道。
|
||||
|
||||
---
|
||||
|
||||
## 3. 数据提取规则
|
||||
|
||||
### 3.1 视频数据提取
|
||||
* 优先从 `mainMvUrls` 中提取高质量直链:
|
||||
```python
|
||||
video_url = photo.get('mainMvUrls', [{}])[0].get('url')
|
||||
```
|
||||
* 备用从流媒体清单 `manifest` 中提取。
|
||||
|
||||
### 3.2 图集 (ATLAS) 提取
|
||||
* 快手图文内容在数据结构中标识为 `ATLAS`,图片 CDN 列表位于 `photo.atlas.list`。
|
||||
* 遍历列表并结合 CDN 域名拼接最高清无水印大图。
|
||||
|
||||
---
|
||||
|
||||
## 4. 常见踩坑记录 (Gotchas)
|
||||
|
||||
1. **PC 端与移动端结构差异巨大**:
|
||||
* PC 端页面数据挂载在 `defaultClient` 树下;移动端直接返回 `photo` 结构。解析器必须做形态判断。
|
||||
2. **IP 访问频率限制**:
|
||||
* 在移动端路由中必须伪装成真实的移动端浏览器 Headers(如 `v.m.chenzhongtech.com` 的专用 Referer)。
|
||||
|
||||
---
|
||||
|
||||
## 5. 测试与验证
|
||||
|
||||
* **单元测试**:[tests/test_kuaishou_parser.py](file:///Users/leo/Projects/media-parser/tests/test_kuaishou_parser.py)
|
||||
* **执行命令**:
|
||||
```bash
|
||||
pytest tests/test_kuaishou_parser.py
|
||||
python tests/manual_verify_parsers.py --platform 快手
|
||||
```
|
||||
@@ -12,10 +12,10 @@
|
||||
graph TD
|
||||
Start["目标平台页面 / 接口"] --> Decision{"数据载荷形式"}
|
||||
|
||||
Decision -->|"模式 1: HTML 内嵌状态"| SSR["SSR 状态提取<br>(__INITIAL_STATE__)"]
|
||||
Decision -->|"模式 2: 开放/半开放 API"| API["移动端/H5 AJAX 抓取<br>(Headers 伪装)"]
|
||||
Decision -->|"模式 3: 前端算法加密"| JS["JS 签名沙箱执行<br>(mini-racer / BogusSigner)"]
|
||||
Decision -->|"模式 4: 登录态会话维持"| Session["Session 维持与任务轮询<br>(Cookie 注入)"]
|
||||
Decision -->|"模式 1: HTML 内嵌状态"| SSR["SSR 状态提取 (__INITIAL_STATE__)"]
|
||||
Decision -->|"模式 2: 开放/半开放 API"| API["移动端/H5 AJAX 抓取 (Headers 伪装)"]
|
||||
Decision -->|"模式 3: 前端算法加密"| JS["JS 签名沙箱执行 (mini-racer / BogusSigner)"]
|
||||
Decision -->|"模式 4: 登录态会话维持"| Session["Session 维持与任务轮询 (Cookie 注入)"]
|
||||
```
|
||||
|
||||
### 模式 1:SSR 页面状态注入提取 (Server-Side Rendering)
|
||||
|
||||
+17
-7
@@ -47,14 +47,24 @@ pytest tests/test_bilibili_parser.py -v
|
||||
pytest tests/test_live_parser_samples.py -s
|
||||
```
|
||||
|
||||
### 4. 运行交互式手动验证脚本
|
||||
[tests/manual_verify_parsers.py](file:///Users/leo/Projects/media-parser/tests/manual_verify_parsers.py) 提供了一个美观的终端报告:
|
||||
```bash
|
||||
# 全量验证所有平台当前线上可用状态
|
||||
python tests/manual_verify_parsers.py --all
|
||||
### 4. 运行交互式真实样本回归验证工具
|
||||
[tests/manual_verify_parsers.py](file:///Users/leo/Projects/media-parser/tests/manual_verify_parsers.py) 支持对 31 个平台的多种形态(短链、长链、视频、图集等)发起真实网络请求与字段契约校验:
|
||||
|
||||
# 验证单个平台 (例如:抖音)
|
||||
python tests/manual_verify_parsers.py --platform 抖音
|
||||
```bash
|
||||
# 1. 快速冒烟测试 (每个平台只测 1 条最具代表性的链接,极速完成 31 平台基准健康检查)
|
||||
python3 tests/manual_verify_parsers.py --limit 1
|
||||
|
||||
# 2. 验证指定平台的多形态覆盖 (支持重复传入多个 --platform 参数)
|
||||
python3 tests/manual_verify_parsers.py --platform 微博 --platform 哔哩哔哩 --platform 虎牙
|
||||
|
||||
# 3. 限制指定平台的测试用例数量 (例如每个平台最多测 2 条)
|
||||
python3 tests/manual_verify_parsers.py --platform 抖音 --platform 小红书 --limit 2
|
||||
|
||||
# 4. 全量深度回归测试 (运行 260+ 条全部多形态真实用例,适合发版前全量巡检)
|
||||
python3 tests/manual_verify_parsers.py
|
||||
|
||||
# 5. 列出当前用例库中未配置真实链接的平台
|
||||
python3 tests/manual_verify_parsers.py --list-missing
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
+3852
-33
File diff suppressed because it is too large
Load Diff
@@ -47,30 +47,34 @@ def collect_media(parser):
|
||||
|
||||
def verify_case(case):
|
||||
platform = case["platform"]
|
||||
if not case.get("url"):
|
||||
return "MISSING", platform, "未配置真实链接"
|
||||
pattern = case.get("pattern", "标准链接")
|
||||
url = case.get("url", "")
|
||||
if not url:
|
||||
return "MISSING", platform, pattern, "未配置真实链接", url
|
||||
try:
|
||||
real_url = WebFetcher.fetch_redirect_url(case["url"])
|
||||
real_url = WebFetcher.fetch_redirect_url(url)
|
||||
if not real_url:
|
||||
return "FAILED", platform, "无法获取或识别分享链接"
|
||||
return "FAILED", platform, pattern, "无法获取或识别分享链接", url
|
||||
detected_platform = UrlParser.get_platform(real_url)
|
||||
if detected_platform != platform:
|
||||
return "FAILED", platform, f"识别为 {detected_platform or '未知平台'}"
|
||||
return "FAILED", platform, pattern, f"识别为 {detected_platform or '未知平台'}", url
|
||||
parser = ParserFactory.create_parser(platform, real_url)
|
||||
found = collect_media(parser)
|
||||
missing = [field for field in case["expected_fields"] if not found.get(field)]
|
||||
expected = case.get("expected_fields", ["title"])
|
||||
missing = [field for field in expected if not found.get(field)]
|
||||
if missing:
|
||||
return "FAILED", platform, f"缺少字段:{', '.join(missing)}"
|
||||
return "FAILED", platform, pattern, f"缺少字段:{', '.join(missing)}", url
|
||||
present = ", ".join(name for name, value in found.items() if value)
|
||||
return "PASSED", platform, f"已取得:{present}"
|
||||
return "PASSED", platform, pattern, f"已取得:{present}", url
|
||||
except Exception as exc:
|
||||
return "FAILED", platform, f"{type(exc).__name__}: {exc}"
|
||||
return "FAILED", platform, pattern, f"{type(exc).__name__}: {exc}", url
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser(description="人工验证 Parser 真实分享链接")
|
||||
parser = argparse.ArgumentParser(description="一键多形态验证 31 平台真实分享链接")
|
||||
parser.add_argument("--platform", action="append", help="仅验证指定平台;可重复传入")
|
||||
parser.add_argument("--list-missing", action="store_true", help="仅列出缺少链接的平台")
|
||||
parser.add_argument("--limit", type=int, default=0, help="限制每个平台运行的最大用例数 (默认全部)")
|
||||
args = parser.parse_args()
|
||||
|
||||
cases = load_cases()
|
||||
@@ -86,12 +90,32 @@ def main():
|
||||
print(f"MISSING {case['platform']}: {case['note']}")
|
||||
return
|
||||
|
||||
if args.limit > 0:
|
||||
limited_cases = []
|
||||
counts = {}
|
||||
for case in cases:
|
||||
p = case["platform"]
|
||||
counts[p] = counts.get(p, 0) + 1
|
||||
if counts[p] <= args.limit:
|
||||
limited_cases.append(case)
|
||||
cases = limited_cases
|
||||
|
||||
print(f"🧪 开始执行 31 平台自动化多形态链接验证 (共 {len(cases)} 条用例)...\n")
|
||||
results = [verify_case(case) for case in cases]
|
||||
for status, platform, detail in results:
|
||||
print(f"{status:<7} {platform}: {detail}")
|
||||
for status, platform, pattern, detail, url in results:
|
||||
status_tag = f"✅ {status}" if status == "PASSED" else (f"❌ {status}" if status == "FAILED" else f"⚪ {status}")
|
||||
print(f"{status_tag:<10} [{platform:<6}] ({pattern[:25]}): {detail}")
|
||||
|
||||
summary = {status: sum(1 for result in results if result[0] == status) for status in ("PASSED", "FAILED", "MISSING")}
|
||||
print("\n汇总:" + ", ".join(f"{key}={value}" for key, value in summary.items()))
|
||||
print("\n" + "=" * 60)
|
||||
print("📊 验证汇总:" + ", ".join(f"{key}={value}" for key, value in summary.items()))
|
||||
total = len(results)
|
||||
if total > 0:
|
||||
pass_rate = (summary['PASSED'] / total) * 100
|
||||
print(f"🎯 整体通过率:{pass_rate:.1f}% ({summary['PASSED']}/{total})")
|
||||
print("=" * 60)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
|
||||
|
||||
@@ -13,11 +13,11 @@ class LiveParserSamplesTest(unittest.TestCase):
|
||||
def setUpClass(cls):
|
||||
cls.cases = json.loads(SAMPLES_PATH.read_text(encoding="utf-8"))["cases"]
|
||||
|
||||
def test_every_configured_platform_has_exactly_one_sample_entry(self):
|
||||
def test_every_configured_platform_has_sample_entries(self):
|
||||
configured_platforms = set(DOMAIN_TO_NAME.values())
|
||||
sample_platforms = [case["platform"] for case in self.cases]
|
||||
self.assertEqual(set(sample_platforms), configured_platforms)
|
||||
self.assertEqual(len(sample_platforms), len(set(sample_platforms)))
|
||||
self.assertGreaterEqual(len(sample_platforms), len(configured_platforms))
|
||||
|
||||
def test_sample_entries_follow_the_schema(self):
|
||||
valid_fields = {"video", "audio", "cover", "title", "author", "images", "live_media"}
|
||||
|
||||
@@ -21,8 +21,10 @@ class WebFetcher:
|
||||
# 知乎公开 API 可直接通过内容 ID 解析,访问网页常触发 403 风控。
|
||||
# 绿洲分享页会对通用桌面请求头返回 500,由解析器使用移动端请求头抓取。
|
||||
# 微博博文可通过 API 直接根据 ID 解析,直接访问网页端常触发访客系统重定向。
|
||||
if UrlParser.get_platform(url) in {"知乎", "绿洲", "新片场", "夸克AI", "通义千问", "微博", "小云雀AI", "哔哩哔哩"}:
|
||||
return UrlParser.extract_video_address(url)
|
||||
domain = UrlParser.get_domain(url)
|
||||
if domain not in {"t.cn", "b23.tv", "xhslink.cn", "xhslink.com", "hy.fan"}:
|
||||
if UrlParser.get_platform(url) in {"知乎", "绿洲", "新片场", "夸克AI", "通义千问", "微博", "小云雀AI", "哔哩哔哩"}:
|
||||
return UrlParser.extract_video_address(url)
|
||||
try:
|
||||
current_url = url
|
||||
for _ in range(max_redirects):
|
||||
|
||||
Reference in New Issue
Block a user