diff --git a/README.md b/README.md index 92c28d2..b64c250 100644 --- a/README.md +++ b/README.md @@ -3,7 +3,7 @@ **基于 Python 的多平台媒体原生本地解析系统** -[](LICENSE) [](https://www.python.org/) [](https://flask.palletsprojects.com/) [](#-部署指南) [](#-支持的平台矩阵) +[](LICENSE) [](https://www.python.org/) [](https://flask.palletsprojects.com/) [](#-部署指南) [](#-支持的平台矩阵)
解析逻辑 • @@ -57,6 +57,7 @@ | **海螺AI** | ✓ | ✓ | ✓ | ✓ | ✓ | | | | | **夸克AI** | ✓ | ✓ | ✓ | ✓ | ✓ | | | | | **通义千问** | ✓ | ✓ | ✓ | ✓ | ✓ | | | | +| **腾讯元宝** | ✓ | ✓ | ✓ | ✓ | ✓ | | | | | **闲鱼** | | ✓ | ✓ | | ✓ | | | | | **拼多多** | ✓ | ✓ | ✓ | ✓ | ✓ | | | | | **Soul** | ✓ | ✓ | ✓ | ✓ | ✓ | | | | @@ -84,6 +85,8 @@ | **红果短剧** | ✓ | ✓ | ✓ | ✓ | | | | | | **红果漫剧** | ✓ | ✓ | ✓ | ✓ | | | | | +*注:腾讯元宝等极少数平台提取的是官方存储桶原画质直链,素材保留官方原生水印。 + --- ## 🚀 部署指南 @@ -149,17 +152,17 @@ media-parser/ │ ├── architecture.md # 系统分层架构与生命周期设计 │ ├── reverse-guide.md # 通用逆向方法论 (抓包/SSR/JS签名提取) │ ├── testing.md # 完整测试规范与回归手册 -│ └── parsers/ # 36 份逆向分析文档,覆盖 39 个平台 +│ └── parsers/ # 37 份逆向分析文档,覆盖 40 个平台 ├── src/ # 核心业务逻辑 │ ├── api/ # RESTful API 路由 (/api/parse, /api/health) │ ├── web/ # Demo 体验页与交互蓝图 -│ ├── parsers/ # 36 个解析器模块,支持 39 个平台 (核心解析逻辑) +│ ├── parsers/ # 37 个解析器模块,支持 40 个平台 (核心解析逻辑) │ └── parser_factory.py # 工厂分发器 (解析器动态发现与自动注册) ├── utils/ # 底层工具库与逆向支持 │ ├── signer/ # JS 签名沙箱引擎 (a_bogus, x_bogus 等算法执行) │ └── web_fetcher.py # 智能 URL 识别、重定向追踪与请求封装 ├── tests/ # 完备的双层测试体系 -│ ├── live_parser_samples.json # 39 平台真实多形态在线样本库 +│ ├── live_parser_samples.json # 40 平台真实多形态在线样本库 │ ├── manual_verify_parsers.py # 命令行交互式冒烟与健康检查工具 │ └── test_*_parser.py # 各平台 Mock 自动化单元测试 ├── static/ & templates/ # Web 演示页面前端静态资源 @@ -173,7 +176,7 @@ media-parser/ * 🏗️ **[系统架构与生命周期设计](docs/architecture.md)**:分层设计、302 追踪与 `ParserFactory` 动态发现机制。 * 🔍 **[通用逆向方法论](docs/reverse-guide.md)**:SSR 数据提取、H5 接口伪装、JS 签名沙箱及抓包 SOP。 * 🧪 **[测试体系与回归验证](docs/testing.md)**:Pytest 单元测试、Mock 与线上真实样例回归。 -* 📚 **[平台逆向指南索引](docs/index.md)**:包含抖音、快手、小红书、B站等全部 39 个平台的技术文档。 +* 📚 **[平台逆向指南索引](docs/index.md)**:包含抖音、快手、小红书、B站等全部 40 个平台的技术文档。 --- @@ -182,7 +185,7 @@ media-parser/ 本项目拥有完备的测试体系,包括基础单元测试与基于真实样本库的在线回归测试: ### 1. 真实样本交互式验证 -样例测试库见 [`tests/live_parser_samples.json`](tests/live_parser_samples.json),用于实时验证 39 个平台的解析有效性与多形态覆盖: +样例测试库见 [`tests/live_parser_samples.json`](tests/live_parser_samples.json),用于实时验证 40 个平台的解析有效性与多形态覆盖: ```bash # 快速冒烟测试(每个平台测 1 条最具代表性的链接,极速完成健康检查) diff --git a/configs/business_config.json b/configs/business_config.json index 84aea37..bf194eb 100755 --- a/configs/business_config.json +++ b/configs/business_config.json @@ -104,6 +104,8 @@ "pages.tongyi.com": "通义千问", "tongyi.com": "通义千问", "www.tongyi.com": "通义千问", + "yb.tencent.com": "腾讯元宝", + "yuanbao.tencent.com": "腾讯元宝", "pages.quark.cn": "夸克AI", "act.quark.cn": "夸克AI", "e.tb.cn": "闲鱼", diff --git a/docs/index.md b/docs/index.md index be86abd..b1905e8 100644 --- a/docs/index.md +++ b/docs/index.md @@ -2,7 +2,7 @@ 欢迎查阅 **Media Parser** 开发者文档与逆向工程知识库。 -本项目是一个高性能、模块化、支持 **39 个主流媒体与 AI 内容平台** 的无水印音视频、图文及 LivePhoto 结构化解析引擎。 +本项目是一个高性能、模块化、支持 **40 个主流媒体与 AI 内容平台** 的无水印音视频、图文及 LivePhoto 结构化解析引擎。 --- @@ -15,7 +15,7 @@ * **短视频与轻社区**:[抖音](parsers/douyin.md) | [快手](parsers/kuaishou.md) | [今日头条](parsers/xigua.md) | [皮皮虾](parsers/pipixia.md) | [皮皮搞笑](parsers/pipigaoxiao.md) | [最右](parsers/zuiyou.md) | [美拍](parsers/meipai.md) | [微视](parsers/weishi.md) | [绿洲](parsers/lvzhou.md) | [番茄小说/红果短剧/红果漫剧](parsers/fanqie.md) * **图文与综合社区**:[小红书](parsers/xiaohongshu.md) | [微信公众号](parsers/wechat-mp.md) | [微博](parsers/weibo.md) | [知乎](parsers/zhihu.md) | [闲鱼](parsers/xianyu.md) | [Soul](parsers/soul.md) * **长视频与弹幕/创作**:[哔哩哔哩](parsers/bilibili.md) | [AcFun](parsers/acfun.md) | [新片场](parsers/xinpianchang.md) | [好看视频](parsers/haokan.md) | [西瓜视频](parsers/xigua.md) | [剪映](parsers/jianying.md) | [快影](parsers/kwaiying.md) - * **AI 生成与大模型**:[豆包 AI](parsers/doubao.md) | [即梦 AI](parsers/jimeng.md) | [可灵 AI](parsers/kling.md) | [海螺 AI](parsers/hailuo.md) | [通义千问](parsers/qianwen.md) | [夸克 AI](parsers/quark-ai.md) | [小云雀 AI](parsers/xiaoyunque.md) + * **AI 生成与大模型**:[豆包 AI](parsers/doubao.md) | [腾讯元宝](parsers/yuanbao.md) | [即梦 AI](parsers/jimeng.md) | [可灵 AI](parsers/kling.md) | [海螺 AI](parsers/hailuo.md) | [通义千问](parsers/qianwen.md) | [夸克 AI](parsers/quark-ai.md) | [小云雀 AI](parsers/xiaoyunque.md) * **音频与垂直频道**:[汽水音乐](parsers/qsmusic.md) | [全民K歌](parsers/quanminkge.md) | [虎牙](parsers/huya.md) | [梨视频](parsers/lishipin.md) | [微信视频号](parsers/wechat-channels.md) | [腾讯频道](parsers/tencent-channel.md) --- @@ -40,34 +40,35 @@ | 9 | **通义千问** | AI 图文 / 图像生成 | ✅ 支持 | ⚠️ 需 `YUANBAO_COOKIE` | AI Studio 移动分享端抓取 | [查看指南](parsers/qianwen.md) | | 10 | **夸克 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 夸克 H5 分享路由解析 | [查看指南](parsers/quark-ai.md) | | 11 | **小云雀 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 剪映小云雀分享端 | [查看指南](parsers/xiaoyunque.md) | -| 12 | **微博** | 视频 / 微博正文 / 多图 | ✅ 支持 | 🟢 免配置 | 移动端 H5 接口 + Base62 解码 | [查看指南](parsers/weibo.md) | -| 13 | **知乎** | 视频 (Video Pin) / 想法 / 问答 | ✅ 支持 | 🟢 免配置 | Web API 多路由正则提取 | [查看指南](parsers/zhihu.md) | -| 14 | **皮皮虾** | 视频 / 图文 | ✅ 支持 | 🟢 免配置 | H5 接口数据解析 | [查看指南](parsers/pipixia.md) | -| 15 | **皮皮搞笑** | 视频 | ✅ 支持 | 🟢 免配置 | H5 页面 JSON 提取 | [查看指南](parsers/pipigaoxiao.md) | -| 16 | **最右** | 视频 / 图集 | ✅ 支持 | 🟢 免配置 | H5 接口键值映射提取 | [查看指南](parsers/zuiyou.md) | -| 17 | **AcFun** | 视频 (m3u8/MP4) | ✅ 支持 | 🟢 免配置 | KSPlayer 播放器参数还原 | [查看指南](parsers/acfun.md) | -| 18 | **汽水音乐** | UGC 视频 / 背景原声 | ✅ 支持 | 🟢 免配置 | 字节系分享 API | [查看指南](parsers/qsmusic.md) | -| 19 | **全民K歌** | 视频 / 伴奏音频 | ✅ 支持 | 🟢 免配置 | H5 播放页正则提取 | [查看指南](parsers/quanminkge.md) | -| 20 | **虎牙** | 视频 / 录播 | ✅ 支持 | 🟢 免配置 | 移动端短链解析 | [查看指南](parsers/huya.md) | -| 21 | **微信视频号** | 视频 | ✅ 支持 | 🟢 免配置 | 视频号短链解析 | [查看指南](parsers/wechat-channels.md) | -| 22 | **腾讯视频/频道** | 视频 | ✅ 支持 | 🟢 免配置 | 企鹅频道分享解析 | [查看指南](parsers/tencent-channel.md) | -| 23 | **西瓜视频** | 视频 | ✅ 支持 | 🟢 免配置 | 字节系引擎继承解析 | [查看指南](parsers/xigua.md) | -| 24 | **今日头条** | 视频 / 微头条视频 | ✅ 支持 | 🟢 免配置 | 字节系引擎继承解析 | [查看指南](parsers/xigua.md) | -| 25 | **新片场** | 高清视频 | ✅ 支持 | 🟢 免配置 | Next.js SSR 播放页提取 | [查看指南](parsers/xinpianchang.md) | -| 26 | **好看视频** | 百度短视频 | ✅ 支持 | 🟢 免配置 | 百度视频落地页提取 | [查看指南](parsers/haokan.md) | -| 27 | **美拍** | 视频 | ✅ 支持 | 🟢 免配置 | 网页 MP4 流还原 | [查看指南](parsers/meipai.md) | -| 28 | **微视** | 腾讯微视视频 | ✅ 支持 | 🟢 免配置 | 微视开放接口 | [查看指南](parsers/weishi.md) | -| 29 | **绿洲** | 新浪绿洲图文 | ✅ 支持 | 🟢 免配置 | 微博绿洲 H5 提取 | [查看指南](parsers/lvzhou.md) | -| 30 | **闲鱼** | 闲鱼图文贴 | ✅ 支持 | 🟢 免配置 | 淘系分享页解析 | [查看指南](parsers/xianyu.md) | -| 31 | **Soul** | 视频 / 瞬间 | ✅ 支持 | 🟢 免配置 | Web 话题页解析 | [查看指南](parsers/soul.md) | -| 32 | **剪映 / CapCut** | 模板视频 / Web协作视频 | ✅ 支持 | 🟢 免配置 | 字节剪映 & CapCut 协作 API | [查看指南](parsers/jianying.md) | -| 33 | **梨视频** | 资讯短视频 | ✅ 支持 | 🟢 免配置 | 动态防盗链时间戳解密 | [查看指南](parsers/lishipin.md) | -| 34 | **快影** | 模板视频 / 原声音乐 | ✅ 支持 | 🟢 免配置 | 快影 OpenAPI + 动态签名 | [查看指南](parsers/kwaiying.md) | -| 35 | **微信公众号** | 视频 / 文章插图图集 / 音频 | ✅ 支持 | 🟢 免配置 | SSR 正文解析 + 1080P 视频流提取与原画升级 | [查看指南](parsers/wechat-mp.md) | -| 36 | **拼多多** | 多多视频 / 商品图集 / 实物原图 | ✅ 支持 | 🟡 视频需 Cookie / 商品免配置 | anti-content 动态验签 + 307 素材提取 | [查看指南](parsers/pinduoduo.md) | -| 37 | **番茄小说** | 短剧视频 | ✅ 支持 | 🟢 免配置 | H5 推广页 HTML 提取 | [查看指南](parsers/fanqie.md) | -| 38 | **红果短剧** | 短剧视频 | ✅ 支持 | 🟢 免配置 | H5 推广页 HTML 提取 | [查看指南](parsers/fanqie.md) | -| 39 | **红果漫剧** | 漫剧/短剧视频 | ✅ 支持 | 🟢 免配置 | H5 推广页 HTML 提取 | [查看指南](parsers/fanqie.md) | +| 12 | **腾讯元宝** | AI 生图 / 图片编辑 / AI 视频 | ⚠️ 含原生水印 | 🟢 公开分享免配置 | Next.js SSR 对话数据提取 | [查看指南](parsers/yuanbao.md) | +| 13 | **微博** | 视频 / 微博正文 / 多图 | ✅ 支持 | 🟢 免配置 | 移动端 H5 接口 + Base62 解码 | [查看指南](parsers/weibo.md) | +| 14 | **知乎** | 视频 (Video Pin) / 想法 / 问答 | ✅ 支持 | 🟢 免配置 | Web API 多路由正则提取 | [查看指南](parsers/zhihu.md) | +| 15 | **皮皮虾** | 视频 / 图文 | ✅ 支持 | 🟢 免配置 | H5 接口数据解析 | [查看指南](parsers/pipixia.md) | +| 16 | **皮皮搞笑** | 视频 | ✅ 支持 | 🟢 免配置 | H5 页面 JSON 提取 | [查看指南](parsers/pipigaoxiao.md) | +| 17 | **最右** | 视频 / 图集 | ✅ 支持 | 🟢 免配置 | H5 接口键值映射提取 | [查看指南](parsers/zuiyou.md) | +| 18 | **AcFun** | 视频 (m3u8/MP4) | ✅ 支持 | 🟢 免配置 | KSPlayer 播放器参数还原 | [查看指南](parsers/acfun.md) | +| 19 | **汽水音乐** | UGC 视频 / 背景原声 | ✅ 支持 | 🟢 免配置 | 字节系分享 API | [查看指南](parsers/qsmusic.md) | +| 20 | **全民K歌** | 视频 / 伴奏音频 | ✅ 支持 | 🟢 免配置 | H5 播放页正则提取 | [查看指南](parsers/quanminkge.md) | +| 21 | **虎牙** | 视频 / 录播 | ✅ 支持 | 🟢 免配置 | 移动端短链解析 | [查看指南](parsers/huya.md) | +| 22 | **微信视频号** | 视频 | ✅ 支持 | 🟢 免配置 | 视频号短链解析 | [查看指南](parsers/wechat-channels.md) | +| 23 | **腾讯视频/频道** | 视频 | ✅ 支持 | 🟢 免配置 | 企鹅频道分享解析 | [查看指南](parsers/tencent-channel.md) | +| 24 | **西瓜视频** | 视频 | ✅ 支持 | 🟢 免配置 | 字节系引擎继承解析 | [查看指南](parsers/xigua.md) | +| 25 | **今日头条** | 视频 / 微头条视频 | ✅ 支持 | 🟢 免配置 | 字节系引擎继承解析 | [查看指南](parsers/xigua.md) | +| 26 | **新片场** | 高清视频 | ✅ 支持 | 🟢 免配置 | Next.js SSR 播放页提取 | [查看指南](parsers/xinpianchang.md) | +| 27 | **好看视频** | 百度短视频 | ✅ 支持 | 🟢 免配置 | 百度视频落地页提取 | [查看指南](parsers/haokan.md) | +| 28 | **美拍** | 视频 | ✅ 支持 | 🟢 免配置 | 网页 MP4 流还原 | [查看指南](parsers/meipai.md) | +| 29 | **微视** | 腾讯微视视频 | ✅ 支持 | 🟢 免配置 | 微视开放接口 | [查看指南](parsers/weishi.md) | +| 30 | **绿洲** | 新浪绿洲图文 | ✅ 支持 | 🟢 免配置 | 微博绿洲 H5 提取 | [查看指南](parsers/lvzhou.md) | +| 31 | **闲鱼** | 闲鱼图文贴 | ✅ 支持 | 🟢 免配置 | 淘系分享页解析 | [查看指南](parsers/xianyu.md) | +| 32 | **Soul** | 视频 / 瞬间 | ✅ 支持 | 🟢 免配置 | Web 话题页解析 | [查看指南](parsers/soul.md) | +| 33 | **剪映 / CapCut** | 模板视频 / Web协作视频 | ✅ 支持 | 🟢 免配置 | 字节剪映 & CapCut 协作 API | [查看指南](parsers/jianying.md) | +| 34 | **梨视频** | 资讯短视频 | ✅ 支持 | 🟢 免配置 | 动态防盗链时间戳解密 | [查看指南](parsers/lishipin.md) | +| 35 | **快影** | 模板视频 / 原声音乐 | ✅ 支持 | 🟢 免配置 | 快影 OpenAPI + 动态签名 | [查看指南](parsers/kwaiying.md) | +| 36 | **微信公众号** | 视频 / 文章插图图集 / 音频 | ✅ 支持 | 🟢 免配置 | SSR 正文解析 + 1080P 视频流提取与原画升级 | [查看指南](parsers/wechat-mp.md) | +| 37 | **拼多多** | 多多视频 / 商品图集 / 实物原图 | ✅ 支持 | 🟡 视频需 Cookie / 商品免配置 | anti-content 动态验签 + 307 素材提取 | [查看指南](parsers/pinduoduo.md) | +| 38 | **番茄小说** | 短剧视频 | ✅ 支持 | 🟢 免配置 | H5 推广页 HTML 提取 | [查看指南](parsers/fanqie.md) | +| 39 | **红果短剧** | 短剧视频 | ✅ 支持 | 🟢 免配置 | H5 推广页 HTML 提取 | [查看指南](parsers/fanqie.md) | +| 40 | **红果漫剧** | 漫剧/短剧视频 | ✅ 支持 | 🟢 免配置 | H5 推广页 HTML 提取 | [查看指南](parsers/fanqie.md) | --- diff --git a/docs/parsers/yuanbao.md b/docs/parsers/yuanbao.md new file mode 100644 index 0000000..0e021bd --- /dev/null +++ b/docs/parsers/yuanbao.md @@ -0,0 +1,71 @@ +# 腾讯元宝逆向解析指南 + +本篇记录腾讯元宝公开对话分享中的 AI 生图、图片编辑和 AI 视频媒体提取方案。 + +--- + +## 1. 平台特征与支持能力 + +* **平台标识**:`腾讯元宝` +* **支持媒体类型**:AI 生成图片、图片编辑结果、AI 生成视频及封面 +* **常见链接形态**: + * 对话短链:`https://yb.tencent.com/s/{shareId}` + * 独立图片分享:`https://yuanbao.tencent.com/bot/app/share/beautifulPhotos/{shareId}?userId={userId}` + * 独立视频分享:`https://yb.tencent.com/s/bot/app/share/loadingVideo/{shareId}` +* **Cookie 依赖**:公开对话分享无需 Cookie;独立分享页接口受限时可选复用 `YUANBAO_COOKIE`。 + +> [!NOTE] +> **水印说明**: +> 腾讯元宝在混元大模型完成图像/视频生成并导出文件时,系统已将“元宝”标识水印直接渲染写入文件图像中。官方目前无论在网页版、App 还是后端 API 中均未暴露无水印导出通道(登录用户本人点击下载同样带水印)。 +> 本解析器提取的是腾讯云 COS 存储桶中保存的**最高清晰度官方原画直链**(保留官方原生水印),适合素材归档、文本/标题提取及媒体信息解析。 + + +--- + +## 2. 核心逆向方案 + +元宝公开对话页使用 Next.js SSR。页面中的 `script#__NEXT_DATA__` 包含 `props.pageProps.fullChatShareData`,无需执行 JavaScript 即可取得分享内容。 + +主要数据路径如下: + +```text +fullChatShareData.chat.convs[] + └── speechesV2[].extra.replaces[].multimedias[] + ├── type / mediaType / mimeType + ├── downloadUrl / url / resourceUrl + ├── cover / coverUrl + └── thumbnailUrl / previewUrl +``` + +解析器只收集 `speaker == "ai"` 的多媒体结果,避免把用户上传的参考图误认为生成结果。媒体地址优先级为 `downloadUrl`、`url`、`resourceUrl`,视频封面优先使用 `downloadCoverUrl`、`cover`、`coverUrl`、`thumbnailUrl`。 + +--- + +## 3. 标题与作者 + +* 标题优先读取 `chat.shareCardInfo.title`,并移除开头的 `[图片]` 或 `[视频]` 标记。 +* 标题缺失时回退到首条用户 `displayPrompt` 或 `speech`。 +* 作者优先读取 `chat.userInfo`,再回退到用户对话记录中的 `role` 与 `userId`。 + +--- + +## 4. 独立分享页兜底 + +独立图片/视频页面可能直接在 `pageProps.shareDetailData` 中提供媒体信息。若首屏只有 `shareId`,解析器会尽力请求公开接口: + +```text +POST https://yb.tencent.com/api/share/general_share_detail +``` + +该接口可能因内容过期、风控或分享被删除而返回空结果。普通 `/s/{shareId}` 对话分享的 SSR 路径更稳定,应作为主要支持形态。 + +--- + +## 5. 测试与验证 + +```bash +pytest tests/test_yuanbao_parser.py tests/test_web_fetcher.py tests/test_parser_factory.py +python3 tests/manual_verify_parsers.py --platform 腾讯元宝 +``` + +真实样例覆盖 AI 生图和 AI 视频两种形态,记录在 `tests/live_parser_samples.json`。 diff --git a/docs/testing.md b/docs/testing.md index 5537452..bf6b6b7 100644 --- a/docs/testing.md +++ b/docs/testing.md @@ -13,7 +13,7 @@ tests/ ├── test_parser_factory.py # 解析器自动注册与工厂路由测试 ├── test_web_fetcher.py # 302跳转与URL正则提取测试 ├── test_*_parser.py # 各平台专属的单元测试 -├── live_parser_samples.json # 真实线上验证样本库 (30+ 平台活跃样例) +├── live_parser_samples.json # 真实线上验证样本库 (40+ 平台活跃样例) ├── test_live_parser_samples.py # 自动化执行样本库回归测试 └── manual_verify_parsers.py # 命令行交互式/全量人工排查脚本 ``` @@ -48,10 +48,10 @@ pytest tests/test_live_parser_samples.py -s ``` ### 4. 运行交互式真实样本回归验证工具 -[tests/manual_verify_parsers.py](file:///Users/leo/Projects/media-parser/tests/manual_verify_parsers.py) 支持对 39 个平台的多种形态(短链、长链、视频、图集等)发起真实网络请求与字段契约校验: +[tests/manual_verify_parsers.py](file:///Users/leo/Projects/media-parser/tests/manual_verify_parsers.py) 支持对 40+ 个平台的多种形态(短链、长链、视频、图集等)发起真实网络请求与字段契约校验: ```bash -# 1. 快速冒烟测试 (每个平台只测 1 条最具代表性的链接,极速完成 39 平台基准健康检查) +# 1. 快速冒烟测试 (每个平台只测 1 条最具代表性的链接,极速完成 40 平台基准健康检查) python3 tests/manual_verify_parsers.py --limit 1 # 2. 验证指定平台的多形态覆盖 (支持重复传入多个 --platform 参数) diff --git a/src/parsers/yuanbao_parser.py b/src/parsers/yuanbao_parser.py new file mode 100644 index 0000000..2ac0f51 --- /dev/null +++ b/src/parsers/yuanbao_parser.py @@ -0,0 +1,341 @@ +import html +import json +import os +import re +from urllib.parse import parse_qs, urlparse + +from bs4 import BeautifulSoup + +from configs.general_constants import USER_AGENT_M +from configs.logging_config import get_logger +from src.parser_factory import register_parser +from src.parsers.base_parser import BaseParser + + +logger = get_logger(__name__) + + +@register_parser("腾讯元宝") +class YuanbaoParser(BaseParser): + """腾讯元宝公开对话、AI 生图和 AI 视频分享解析器。""" + + GENERAL_SHARE_DETAIL_API = "https://yb.tencent.com/api/share/general_share_detail" + + def __init__(self, real_url): + super().__init__(real_url) + self.headers = { + "User-Agent": USER_AGENT_M[0], + "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", + } + cookie = os.getenv("YUANBAO_COOKIE", "").strip() + if cookie: + self.headers["Cookie"] = cookie + + self.title = "" + self.cover_url = None + self.video_url = None + self.video_list = [] + self.image_list = [] + self.author = None + self._parse() + + def _parse(self): + if not self.real_url: + return + try: + response = self.session.get( + self.real_url, + headers=self.headers, + timeout=15, + ) + response.raise_for_status() + self.real_url = response.url + + payload = self._load_next_data(response.text) + page_props = payload.get("props", {}).get("pageProps", {}) + self._parse_page_props(page_props, response.text) + + if not self.video_list and not self.image_list: + detail = self._fetch_standalone_share_detail(page_props) + if detail: + self._parse_share_detail(detail) + except Exception as exc: + logger.warning("Failed to parse Yuanbao share page: %s", exc) + + @staticmethod + def _load_next_data(page_html): + soup = BeautifulSoup(page_html or "", "lxml") + script = soup.select_one("script#__NEXT_DATA__") + if not script or not script.string: + return {} + try: + return json.loads(script.string) + except (TypeError, json.JSONDecodeError): + return {} + + def _parse_page_props(self, page_props, page_html=""): + if not isinstance(page_props, dict): + return + + full_share = page_props.get("fullChatShareData") + if isinstance(full_share, dict): + self._parse_chat_share(full_share) + + detail = page_props.get("shareDetailData") + if isinstance(detail, dict): + self._parse_share_detail(detail) + + if not isinstance(full_share, dict) and not isinstance(detail, dict): + self._collect_direct_media(page_props) + + if not self.title: + soup = BeautifulSoup(page_html or "", "lxml") + if soup.title and soup.title.string: + self.title = soup.title.string.strip() + + self.video_list = self._unique(self.video_list) + self.image_list = self._unique(self.image_list) + self.video_url = self.video_list[0] if self.video_list else None + if not self.cover_url: + self.cover_url = self.image_list[0] if self.image_list else None + + def _parse_chat_share(self, payload): + chat = payload.get("chat") or {} + card = chat.get("shareCardInfo") or {} + conversations = chat.get("convs") or [] + + self.title = self._clean_title(card.get("title")) + self.author = self._extract_author(chat, conversations) + + for conversation in conversations: + if not isinstance(conversation, dict) or conversation.get("speaker") != "ai": + continue + for speech in conversation.get("speechesV2") or []: + if not isinstance(speech, dict): + continue + extra = speech.get("extra") or {} + for replace in extra.get("replaces") or []: + if not isinstance(replace, dict): + continue + for media in replace.get("multimedias") or []: + self._collect_multimedia(media) + + if not self.title: + self.title = self._find_prompt(conversations) + + card_media_type = str(card.get("imageFrom") or "").lower() + card_image = self._valid_url(card.get("coverUrl") or card.get("imageUrl")) + if card_image: + if "video" in card_media_type: + self.cover_url = self.cover_url or card_image + elif not self.image_list: + self.image_list.append(card_image) + self.cover_url = self.cover_url or card_image + + def _collect_multimedia(self, media): + if not isinstance(media, dict): + return + + media_type = " ".join( + str(media.get(key) or "").lower() + for key in ("type", "mediaType", "mimeType", "display") + ) + is_video = "video" in media_type + is_image = "image" in media_type or not is_video + + primary = self._first_url( + media.get("downloadUrl"), + media.get("url"), + media.get("resourceUrl"), + media.get("playUrl"), + media.get("videoUrl"), + ) + if is_video and primary: + self.video_list.append(primary) + elif is_image and primary: + self.image_list.append(primary) + + cover = self._first_url( + media.get("downloadCoverUrl"), + media.get("cover"), + media.get("coverUrl"), + media.get("thumbnailUrl"), + media.get("previewUrl"), + ) + if cover and (is_video or not self.cover_url): + self.cover_url = cover + + def _parse_share_detail(self, detail): + if not isinstance(detail, dict): + return + self.title = self.title or self._clean_title( + detail.get("title") or detail.get("prompt") + ) + + extra = detail.get("extra") + if isinstance(extra, str): + try: + extra = json.loads(extra) + except json.JSONDecodeError: + extra = {} + if isinstance(extra, dict): + self._collect_direct_media(extra) + self._collect_direct_media(detail) + + if not self.author: + self.author = self._author_from_dict( + detail.get("userInfo") or detail.get("author") or {} + ) + + def _collect_direct_media(self, data): + """兼容独立图片/视频分享页及字段变体。""" + if isinstance(data, dict): + for key, value in data.items(): + key_lower = str(key).lower() + if isinstance(value, str): + url = self._valid_url(value) + if not url: + continue + if any(token in key_lower for token in ("avatar", "icon", "logo", "target")): + continue + if "video" in key_lower or "playurl" in key_lower: + self.video_list.append(url) + elif "cover" in key_lower or "poster" in key_lower or "thumbnail" in key_lower: + self.cover_url = self.cover_url or url + elif key_lower in {"downloadurl", "imageurl", "image_url"}: + self.image_list.append(url) + elif isinstance(value, (dict, list)): + self._collect_direct_media(value) + elif isinstance(data, list): + for item in data: + self._collect_direct_media(item) + + def _fetch_standalone_share_detail(self, page_props): + path = urlparse(self.real_url).path + if "/bot/app/share/" not in path: + return {} + + share_id = page_props.get("shareId") or path.rstrip("/").split("/")[-1] + user_id = parse_qs(urlparse(self.real_url).query).get("userId", [""])[0] + if not share_id: + return {} + + headers = { + "User-Agent": self.headers["User-Agent"], + "Accept": "application/json, text/plain, */*", + "Content-Type": "application/json", + "Origin": "https://yb.tencent.com", + "Referer": self.real_url, + "X-Requested-With": "XMLHttpRequest", + "x-source": "web", + "x-verify-flag": "1", + } + if self.headers.get("Cookie"): + headers["Cookie"] = self.headers["Cookie"] + + try: + response = self.session.post( + self.GENERAL_SHARE_DETAIL_API, + headers=headers, + json={ + "shareType": "videoWeb", + "shareId": share_id, + "userId": user_id, + }, + timeout=10, + ) + if response.status_code != 200: + return {} + payload = response.json() + return payload if isinstance(payload, dict) and not payload.get("error") else {} + except Exception as exc: + logger.debug("Yuanbao standalone share API failed: %s", exc) + return {} + + @staticmethod + def _extract_author(chat, conversations): + author = YuanbaoParser._author_from_dict(chat.get("userInfo") or {}) + for conversation in conversations: + if not isinstance(conversation, dict) or conversation.get("speaker") != "human": + continue + role = conversation.get("role") or {} + candidate = YuanbaoParser._author_from_dict(role) + if candidate: + if not candidate.get("author_id") and conversation.get("userId"): + candidate["author_id"] = str(conversation["userId"]) + if not author: + return candidate + for key in ("nickname", "author_id", "avatar"): + if not author.get(key) and candidate.get(key): + author[key] = candidate[key] + return author + return author + + @staticmethod + def _author_from_dict(data): + if not isinstance(data, dict) or not data: + return None + nickname = data.get("name") or data.get("nickname") or data.get("nick") or "" + author_id = data.get("userId") or data.get("id") or data.get("uid") or "" + avatar = data.get("imageUrl") or data.get("avatar") or data.get("avatarUrl") or "" + if not any((nickname, author_id, avatar)): + return None + return { + "nickname": str(nickname), + "author_id": str(author_id), + "avatar": avatar, + } + + @staticmethod + def _find_prompt(conversations): + for conversation in conversations: + if not isinstance(conversation, dict) or conversation.get("speaker") != "human": + continue + prompt = conversation.get("displayPrompt") or conversation.get("speech") + if isinstance(prompt, str) and prompt.strip(): + return YuanbaoParser._clean_title(prompt) + return "腾讯元宝分享" + + @staticmethod + def _clean_title(value): + if not isinstance(value, str): + return "" + value = html.unescape(value).strip() + value = re.sub(r"^\[(?:图片|视频)\]\s*", "", value) + return value + + @staticmethod + def _valid_url(value): + if not isinstance(value, str) or not value.startswith(("http://", "https://")): + return None + return html.unescape(value).replace("\\u0026", "&") + + @classmethod + def _first_url(cls, *values): + for value in values: + url = cls._valid_url(value) + if url: + return url + return None + + @staticmethod + def _unique(values): + return list(dict.fromkeys(value for value in values if value)) + + def get_real_video_url(self): + return self.video_url + + def get_video_list(self): + return self.video_list + + def get_title_content(self): + return self.title + + def get_cover_photo_url(self): + return self.cover_url + + def get_author_info(self): + return self.author + + def get_image_list(self): + return self.image_list diff --git a/tests/live_parser_samples.json b/tests/live_parser_samples.json index 631be8a..5a6c227 100644 --- a/tests/live_parser_samples.json +++ b/tests/live_parser_samples.json @@ -1,8 +1,38 @@ { "schema_version": 2, - "description": "39 平台多形态全景自动化回归测试用例库 (涵盖短链/长链/图集/单视频/AI生成等)", - "total_cases": 277, + "description": "40 平台多形态全景自动化回归测试用例库 (涵盖短链/长链/图集/单视频/AI生成等)", + "total_cases": 288, "cases": [ + { + "platform": "腾讯元宝", + "url": "https://yb.tencent.com/s/OXzXwcr2Vk9H", + "media_types": [ + "video" + ], + "expected_fields": [ + "video", + "cover", + "title", + "author" + ], + "note": "2026-09-01 已验证: 元宝图生视频公开对话分享,SSR 直接提供 MP4 与封面", + "pattern": "AI 视频分享" + }, + { + "platform": "腾讯元宝", + "url": "https://yb.tencent.com/s/iy4anxVGCDlz", + "media_types": [ + "images" + ], + "expected_fields": [ + "images", + "cover", + "title", + "author" + ], + "note": "2026-09-01 已验证: 元宝 AI 生图公开对话分享,优先返回高清下载地址", + "pattern": "AI 生图分享" + }, { "platform": "拼多多", "url": "https://mobile.yangkeduo.com/goods.html?ps=6K2Mc4rjNT", diff --git a/tests/test_web_fetcher.py b/tests/test_web_fetcher.py index 821f094..7f6d77c 100644 --- a/tests/test_web_fetcher.py +++ b/tests/test_web_fetcher.py @@ -57,6 +57,10 @@ class UrlParserTest(unittest.TestCase): "https://activity.qianwen.com/r/ai-studio-mobile/qwen-external-share?shareId=abc&authorId=author&channel_from=qwen&noise=x", "https://activity.qianwen.com/r/ai-studio-mobile/qwen-external-share?shareId=abc&authorId=author&channel_from=qwen", ), + ( + "https://yuanbao.tencent.com/bot/app/share/beautifulPhotos/share-id?userId=user-id&noise=x", + "https://yuanbao.tencent.com/bot/app/share/beautifulPhotos/share-id?userId=user-id", + ), ( "https://mobile.yangkeduo.com/goods.html?goods_id=123&review_id=456&noise=x", "https://mobile.yangkeduo.com/goods.html?goods_id=123&review_id=456", @@ -134,6 +138,8 @@ class UrlParserTest(unittest.TestCase): ("https://xyq.jianying.com/s/abc", "小云雀AI"), ("https://jimeng.ai/mproject/123", "即梦AI"), ("https://www.capcut.com/template/123", "剪映"), + ("https://yb.tencent.com/s/share-id", "腾讯元宝"), + ("https://yuanbao.tencent.com/bot/app/share/loadingVideo/share-id", "腾讯元宝"), ] for url, expected_platform in cases: with self.subTest(url=url): diff --git a/tests/test_yuanbao_parser.py b/tests/test_yuanbao_parser.py new file mode 100644 index 0000000..60c844e --- /dev/null +++ b/tests/test_yuanbao_parser.py @@ -0,0 +1,149 @@ +import json +import unittest +from unittest.mock import Mock, patch + +from src.parsers.yuanbao_parser import YuanbaoParser + + +def make_next_page(page_props, title="用户和元宝的对话"): + payload = { + "props": {"pageProps": page_props}, + "page": "/s/[shareId]", + } + return ( + f"