mirror of
https://github.com/ucmao/media-parser.git
synced 2026-11-20 08:04:56 +08:00
支持海螺AI平台解析并更新相关文档与测试
This commit is contained in:
@@ -3,7 +3,7 @@
|
||||
|
||||
**基于 Python 的多平台媒体原生本地解析系统**
|
||||
|
||||
[](LICENSE) [](https://www.python.org/) [](https://flask.palletsprojects.com/) [](#-部署指南) [](#-支持的平台矩阵)
|
||||
[](LICENSE) [](https://www.python.org/) [](https://flask.palletsprojects.com/) [](#-部署指南) [](#-支持的平台矩阵)
|
||||
|
||||
<p align="center">
|
||||
<a href="#-核心解析逻辑">解析逻辑</a> •
|
||||
@@ -54,6 +54,7 @@
|
||||
| **即梦AI** | ✓ | ✓ | ✓ | ✓ | | | | |
|
||||
| **小云雀AI** | ✓ | ✓ | ✓ | ✓ | ✓ | | | |
|
||||
| **可灵AI** | ✓ | ✓ | ✓ | ✓ | | | | |
|
||||
| **海螺AI** | ✓ | ✓ | ✓ | ✓ | ✓ | | | |
|
||||
| **夸克AI** | ✓ | ✓ | ✓ | ✓ | ✓ | | | |
|
||||
| **通义千问** | ✓ | ✓ | ✓ | ✓ | ✓ | | | |
|
||||
| **闲鱼** | | ✓ | ✓ | | ✓ | | | |
|
||||
@@ -141,17 +142,17 @@ media-parser/
|
||||
│ ├── architecture.md # 系统分层架构与生命周期设计
|
||||
│ ├── reverse-guide.md # 通用逆向方法论 (抓包/SSR/JS签名提取)
|
||||
│ ├── testing.md # 完整测试规范与回归手册
|
||||
│ └── parsers/ # 33 个平台的独立逆向分析文档
|
||||
│ └── parsers/ # 34 个平台的独立逆向分析文档
|
||||
├── src/ # 核心业务逻辑
|
||||
│ ├── api/ # RESTful API 路由 (/api/parse, /api/health)
|
||||
│ ├── web/ # Demo 体验页与交互蓝图
|
||||
│ ├── parsers/ # 33 个平台解析器实现 (核心解析逻辑)
|
||||
│ ├── parsers/ # 34 个平台解析器实现 (核心解析逻辑)
|
||||
│ └── parser_factory.py # 工厂分发器 (解析器动态发现与自动注册)
|
||||
├── utils/ # 底层工具库与逆向支持
|
||||
│ ├── signer/ # JS 签名沙箱引擎 (a_bogus, x_bogus 等算法执行)
|
||||
│ └── web_fetcher.py # 智能 URL 识别、重定向追踪与请求封装
|
||||
├── tests/ # 完备的双层测试体系
|
||||
│ ├── live_parser_samples.json # 33 平台真实多形态在线样本库
|
||||
│ ├── live_parser_samples.json # 34 平台真实多形态在线样本库
|
||||
│ ├── manual_verify_parsers.py # 命令行交互式冒烟与健康检查工具
|
||||
│ └── test_*_parser.py # 各平台 Mock 自动化单元测试
|
||||
├── static/ & templates/ # Web 演示页面前端静态资源
|
||||
@@ -165,7 +166,7 @@ media-parser/
|
||||
* 🏗️ **[系统架构与生命周期设计](docs/architecture.md)**:分层设计、302 追踪与 `ParserFactory` 动态发现机制。
|
||||
* 🔍 **[通用逆向方法论](docs/reverse-guide.md)**:SSR 数据提取、H5 接口伪装、JS 签名沙箱及抓包 SOP。
|
||||
* 🧪 **[测试体系与回归验证](docs/testing.md)**:Pytest 单元测试、Mock 与线上真实样例回归。
|
||||
* 📚 **[平台逆向指南索引](docs/index.md)**:包含抖音、快手、小红书、B站等全部 33 个平台的独立技术文档。
|
||||
* 📚 **[平台逆向指南索引](docs/index.md)**:包含抖音、快手、小红书、B站等全部 34 个平台的独立技术文档。
|
||||
|
||||
---
|
||||
|
||||
@@ -174,7 +175,7 @@ media-parser/
|
||||
本项目拥有完备的测试体系,包括基础单元测试与基于真实样本库的在线回归测试:
|
||||
|
||||
### 1. 真实样本交互式验证
|
||||
样例测试库见 [`tests/live_parser_samples.json`](tests/live_parser_samples.json),用于实时验证 33 个平台解析器的有效性与多形态覆盖:
|
||||
样例测试库见 [`tests/live_parser_samples.json`](tests/live_parser_samples.json),用于实时验证 34 个平台解析器的有效性与多形态覆盖:
|
||||
|
||||
```bash
|
||||
# 快速冒烟测试(每个平台测 1 条最具代表性的链接,极速完成健康检查)
|
||||
|
||||
@@ -57,6 +57,10 @@
|
||||
"v.jimeng.aiseet.atry.com": "即梦AI",
|
||||
"xiaoyunque.jianying.com": "小云雀AI",
|
||||
"klingai-share.kuaishou.com": "可灵AI",
|
||||
"hailuoai.com": "海螺AI",
|
||||
"www.hailuoai.com": "海螺AI",
|
||||
"hailuoai.video": "海螺AI",
|
||||
"www.hailuoai.video": "海螺AI",
|
||||
"w13.soulsmile.cn": "Soul",
|
||||
"qishui.douyin.com": "汽水音乐",
|
||||
"music.douyin.com": "汽水音乐",
|
||||
|
||||
+28
-27
@@ -15,7 +15,7 @@
|
||||
* **短视频与轻社区**:[抖音](parsers/douyin.md) | [快手](parsers/kuaishou.md) | [皮皮虾](parsers/pipixia.md) | [皮皮搞笑](parsers/pipigaoxiao.md) | [最右](parsers/zuiyou.md) | [美拍](parsers/meipai.md) | [微视](parsers/weishi.md) | [绿洲](parsers/lvzhou.md)
|
||||
* **图文与综合社区**:[小红书](parsers/xiaohongshu.md) | [微信公众号](parsers/wechat-mp.md) | [微博](parsers/weibo.md) | [知乎](parsers/zhihu.md) | [闲鱼](parsers/xianyu.md) | [Soul](parsers/soul.md)
|
||||
* **长视频与弹幕/创作**:[哔哩哔哩](parsers/bilibili.md) | [AcFun](parsers/acfun.md) | [新片场](parsers/xinpianchang.md) | [好看视频](parsers/haokan.md) | [西瓜视频](parsers/xigua.md) | [剪映](parsers/jianying.md) | [快影](parsers/kwaiying.md)
|
||||
* **AI 生成与大模型**:[豆包 AI](parsers/doubao.md) | [即梦 AI](parsers/jimeng.md) | [可灵 AI](parsers/kling.md) | [通义千问](parsers/qianwen.md) | [夸克 AI](parsers/quark-ai.md) | [小云雀 AI](parsers/xiaoyunque.md)
|
||||
* **AI 生成与大模型**:[豆包 AI](parsers/doubao.md) | [即梦 AI](parsers/jimeng.md) | [可灵 AI](parsers/kling.md) | [海螺 AI](parsers/hailuo.md) | [通义千问](parsers/qianwen.md) | [夸克 AI](parsers/quark-ai.md) | [小云雀 AI](parsers/xiaoyunque.md)
|
||||
* **音频与垂直频道**:[汽水音乐](parsers/qsmusic.md) | [全民K歌](parsers/quanminkge.md) | [虎牙](parsers/huya.md) | [梨视频](parsers/lishipin.md) | [微信视频号](parsers/wechat-channels.md) | [腾讯频道](parsers/tencent-channel.md)
|
||||
|
||||
---
|
||||
@@ -36,32 +36,33 @@
|
||||
| 5 | **豆包 AI** | AI 视频生成直链 | ✅ 支持 | 🔐 需 `DOUBAO_COOKIE` | Web Session 维持 + 任务轮询 | [查看指南](parsers/doubao.md) |
|
||||
| 6 | **即梦 AI** | AI 视频生成直链 | ✅ 支持 | 🟢 免配置 | 移动分享端接口解析 | [查看指南](parsers/jimeng.md) |
|
||||
| 7 | **可灵 AI** | AI 视频生成直链 | ✅ 支持 | 🟢 免配置 | 快手可灵 H5 分享接口 | [查看指南](parsers/kling.md) |
|
||||
| 8 | **通义千问** | AI 图文 / 图像生成 | ✅ 支持 | ⚠️ 需 `YUANBAO_COOKIE` | AI Studio 移动分享端抓取 | [查看指南](parsers/qianwen.md) |
|
||||
| 9 | **夸克 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 夸克 H5 分享路由解析 | [查看指南](parsers/quark-ai.md) |
|
||||
| 10 | **小云雀 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 剪映小云雀分享端 | [查看指南](parsers/xiaoyunque.md) |
|
||||
| 11 | **微博** | 视频 / 微博正文 / 多图 | ✅ 支持 | 🟢 免配置 | 移动端 H5 接口 + Base62 解码 | [查看指南](parsers/weibo.md) |
|
||||
| 12 | **知乎** | 视频 (Video Pin) / 想法 / 问答 | ✅ 支持 | 🟢 免配置 | Web API 多路由正则提取 | [查看指南](parsers/zhihu.md) |
|
||||
| 13 | **皮皮虾** | 视频 / 图文 | ✅ 支持 | 🟢 免配置 | H5 接口数据解析 | [查看指南](parsers/pipixia.md) |
|
||||
| 14 | **皮皮搞笑** | 视频 | ✅ 支持 | 🟢 免配置 | H5 页面 JSON 提取 | [查看指南](parsers/pipigaoxiao.md) |
|
||||
| 15 | **最右** | 视频 / 图集 | ✅ 支持 | 🟢 免配置 | H5 接口键值映射提取 | [查看指南](parsers/zuiyou.md) |
|
||||
| 16 | **AcFun** | 视频 (m3u8/MP4) | ✅ 支持 | 🟢 免配置 | KSPlayer 播放器参数还原 | [查看指南](parsers/acfun.md) |
|
||||
| 17 | **汽水音乐** | UGC 视频 / 背景原声 | ✅ 支持 | 🟢 免配置 | 字节系分享 API | [查看指南](parsers/qsmusic.md) |
|
||||
| 18 | **全民K歌** | 视频 / 伴奏音频 | ✅ 支持 | 🟢 免配置 | H5 播放页正则提取 | [查看指南](parsers/quanminkge.md) |
|
||||
| 19 | **虎牙** | 视频 / 录播 | ✅ 支持 | 🟢 免配置 | 移动端短链解析 | [查看指南](parsers/huya.md) |
|
||||
| 20 | **微信视频号** | 视频 | ✅ 支持 | 🟢 免配置 | 视频号短链解析 | [查看指南](parsers/wechat-channels.md) |
|
||||
| 21 | **腾讯视频/频道** | 视频 | ✅ 支持 | 🟢 免配置 | 企鹅频道分享解析 | [查看指南](parsers/tencent-channel.md) |
|
||||
| 22 | **西瓜视频** | 视频 | ✅ 支持 | 🟢 免配置 | 字节系引擎继承解析 | [查看指南](parsers/xigua.md) |
|
||||
| 23 | **新片场** | 高清视频 | ✅ 支持 | 🟢 免配置 | Next.js SSR 播放页提取 | [查看指南](parsers/xinpianchang.md) |
|
||||
| 24 | **好看视频** | 百度短视频 | ✅ 支持 | 🟢 免配置 | 百度视频落地页提取 | [查看指南](parsers/haokan.md) |
|
||||
| 25 | **美拍** | 视频 | ✅ 支持 | 🟢 免配置 | 网页 MP4 流还原 | [查看指南](parsers/meipai.md) |
|
||||
| 26 | **微视** | 腾讯微视视频 | ✅ 支持 | 🟢 免配置 | 微视开放接口 | [查看指南](parsers/weishi.md) |
|
||||
| 27 | **绿洲** | 新浪绿洲图文 | ✅ 支持 | 🟢 免配置 | 微博绿洲 H5 提取 | [查看指南](parsers/lvzhou.md) |
|
||||
| 28 | **闲鱼** | 闲鱼图文贴 | ✅ 支持 | 🟢 免配置 | 淘系分享页解析 | [查看指南](parsers/xianyu.md) |
|
||||
| 29 | **Soul** | 视频 / 瞬间 | ✅ 支持 | 🟢 免配置 | Web 话题页解析 | [查看指南](parsers/soul.md) |
|
||||
| 30 | **剪映 / CapCut** | 模板视频 / Web协作视频 | ✅ 支持 | 🟢 免配置 | 字节剪映 & CapCut 协作 API | [查看指南](parsers/jianying.md) |
|
||||
| 31 | **梨视频** | 资讯短视频 | ✅ 支持 | 🟢 免配置 | 动态防盗链时间戳解密 | [查看指南](parsers/lishipin.md) |
|
||||
| 32 | **快影** | 模板视频 / 原声音乐 | ✅ 支持 | 🟢 免配置 | 快影 OpenAPI + 动态签名 | [查看指南](parsers/kwaiying.md) |
|
||||
| 33 | **微信公众号** | 视频 / 文章插图图集 / 音频 | ✅ 支持 | 🟢 免配置 | SSR 正文解析 + 1080P 视频流提取与原画升级 | [查看指南](parsers/wechat-mp.md) |
|
||||
| 8 | **海螺 AI** | AI 视频直链 / Prompt / 参考帧 | ✅ 支持 | 🟢 免配置 | Next.js Flight SSR 流式渲染解析 | [查看指南](parsers/hailuo.md) |
|
||||
| 9 | **通义千问** | AI 图文 / 图像生成 | ✅ 支持 | ⚠️ 需 `YUANBAO_COOKIE` | AI Studio 移动分享端抓取 | [查看指南](parsers/qianwen.md) |
|
||||
| 10 | **夸克 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 夸克 H5 分享路由解析 | [查看指南](parsers/quark-ai.md) |
|
||||
| 11 | **小云雀 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 剪映小云雀分享端 | [查看指南](parsers/xiaoyunque.md) |
|
||||
| 12 | **微博** | 视频 / 微博正文 / 多图 | ✅ 支持 | 🟢 免配置 | 移动端 H5 接口 + Base62 解码 | [查看指南](parsers/weibo.md) |
|
||||
| 13 | **知乎** | 视频 (Video Pin) / 想法 / 问答 | ✅ 支持 | 🟢 免配置 | Web API 多路由正则提取 | [查看指南](parsers/zhihu.md) |
|
||||
| 14 | **皮皮虾** | 视频 / 图文 | ✅ 支持 | 🟢 免配置 | H5 接口数据解析 | [查看指南](parsers/pipixia.md) |
|
||||
| 15 | **皮皮搞笑** | 视频 | ✅ 支持 | 🟢 免配置 | H5 页面 JSON 提取 | [查看指南](parsers/pipigaoxiao.md) |
|
||||
| 16 | **最右** | 视频 / 图集 | ✅ 支持 | 🟢 免配置 | H5 接口键值映射提取 | [查看指南](parsers/zuiyou.md) |
|
||||
| 17 | **AcFun** | 视频 (m3u8/MP4) | ✅ 支持 | 🟢 免配置 | KSPlayer 播放器参数还原 | [查看指南](parsers/acfun.md) |
|
||||
| 18 | **汽水音乐** | UGC 视频 / 背景原声 | ✅ 支持 | 🟢 免配置 | 字节系分享 API | [查看指南](parsers/qsmusic.md) |
|
||||
| 19 | **全民K歌** | 视频 / 伴奏音频 | ✅ 支持 | 🟢 免配置 | H5 播放页正则提取 | [查看指南](parsers/quanminkge.md) |
|
||||
| 20 | **虎牙** | 视频 / 录播 | ✅ 支持 | 🟢 免配置 | 移动端短链解析 | [查看指南](parsers/huya.md) |
|
||||
| 21 | **微信视频号** | 视频 | ✅ 支持 | 🟢 免配置 | 视频号短链解析 | [查看指南](parsers/wechat-channels.md) |
|
||||
| 22 | **腾讯视频/频道** | 视频 | ✅ 支持 | 🟢 免配置 | 企鹅频道分享解析 | [查看指南](parsers/tencent-channel.md) |
|
||||
| 23 | **西瓜视频** | 视频 | ✅ 支持 | 🟢 免配置 | 字节系引擎继承解析 | [查看指南](parsers/xigua.md) |
|
||||
| 24 | **新片场** | 高清视频 | ✅ 支持 | 🟢 免配置 | Next.js SSR 播放页提取 | [查看指南](parsers/xinpianchang.md) |
|
||||
| 25 | **好看视频** | 百度短视频 | ✅ 支持 | 🟢 免配置 | 百度视频落地页提取 | [查看指南](parsers/haokan.md) |
|
||||
| 26 | **美拍** | 视频 | ✅ 支持 | 🟢 免配置 | 网页 MP4 流还原 | [查看指南](parsers/meipai.md) |
|
||||
| 27 | **微视** | 腾讯微视视频 | ✅ 支持 | 🟢 免配置 | 微视开放接口 | [查看指南](parsers/weishi.md) |
|
||||
| 28 | **绿洲** | 新浪绿洲图文 | ✅ 支持 | 🟢 免配置 | 微博绿洲 H5 提取 | [查看指南](parsers/lvzhou.md) |
|
||||
| 29 | **闲鱼** | 闲鱼图文贴 | ✅ 支持 | 🟢 免配置 | 淘系分享页解析 | [查看指南](parsers/xianyu.md) |
|
||||
| 30 | **Soul** | 视频 / 瞬间 | ✅ 支持 | 🟢 免配置 | Web 话题页解析 | [查看指南](parsers/soul.md) |
|
||||
| 31 | **剪映 / CapCut** | 模板视频 / Web协作视频 | ✅ 支持 | 🟢 免配置 | 字节剪映 & CapCut 协作 API | [查看指南](parsers/jianying.md) |
|
||||
| 32 | **梨视频** | 资讯短视频 | ✅ 支持 | 🟢 免配置 | 动态防盗链时间戳解密 | [查看指南](parsers/lishipin.md) |
|
||||
| 33 | **快影** | 模板视频 / 原声音乐 | ✅ 支持 | 🟢 免配置 | 快影 OpenAPI + 动态签名 | [查看指南](parsers/kwaiying.md) |
|
||||
| 34 | **微信公众号** | 视频 / 文章插图图集 / 音频 | ✅ 支持 | 🟢 免配置 | SSR 正文解析 + 1080P 视频流提取与原画升级 | [查看指南](parsers/wechat-mp.md) |
|
||||
|
||||
---
|
||||
|
||||
|
||||
@@ -0,0 +1,56 @@
|
||||
# 海螺AI (Hailuo AI / MiniMax) 逆向解析指南
|
||||
|
||||
本篇详细记录 MiniMax 旗下大模型 **海螺AI (Hailuo AI)** 视频与作品分享的接口抓取机制与参数解析。
|
||||
|
||||
---
|
||||
|
||||
## 1. 平台特征与支持能力
|
||||
|
||||
* **平台标识**:`海螺AI`
|
||||
* **支持媒体类型**:
|
||||
* AI 生成高清视频 (MP4,去「海螺AI × MINIMAX」品牌图文大标)
|
||||
* 视频生成封面图与 Prompt 提示词描述
|
||||
* 图生视频的原始参考帧图片列表 (`image_list`)
|
||||
* 创作者 ID 与作品 ID
|
||||
* **常见链接形态**:
|
||||
* 国内主站:`https://hailuoai.com/share/ai-video/{share_id}?source-scene=shared`
|
||||
* 国际域名:`https://hailuoai.video/share/ai-video/{share_id}`
|
||||
* **Cookie 依赖**:无需 Cookie,公开页面流式直出。
|
||||
|
||||
---
|
||||
|
||||
## 2. 核心逆向流程
|
||||
|
||||
### 2.1 Next.js Flight SSR 流式渲染解析
|
||||
海螺AI 分享落地页使用 Next.js App Router 进行流式服务端渲染(Streaming SSR)。在服务端返回的 HTML 中,内嵌了多个 `self.__next_f.push([1, "..."])` 代码块。
|
||||
|
||||
通过解码 Flight 格式数据流并递归遍历 AST 树节点,可直接定位到 `videoAsset` 节点:
|
||||
* `id`:视频作品内部数字 ID。
|
||||
* `desc` / `title`:生成视频时用户输入的 Prompt 提示词。
|
||||
* `coverURL` / `promptImgURL`:视频高清封面与提示词关联图片。
|
||||
* `userIDStr`:创作者用户编号。
|
||||
* `originFiles`:生成视频所引用的原始参考图(如首尾帧图片)。
|
||||
|
||||
### 2.2 视频直链与去水印策略
|
||||
在 `videoAsset` 中,服务端预渲染并提供了多个版本的下载流:
|
||||
1. **`videoURLs.downloadURLWithAIWatermark`**(首选推荐):
|
||||
- **完全去除了「海螺AI × MINIMAX」品牌图文大标**;
|
||||
- 仅保留符合法规监管的极浅半透明「AI生成」角标,为公开接口下的最佳纯净直链。
|
||||
2. **`downloadURL`**:
|
||||
- 官方标准下载直链,通常与 `downloadURLWithAIWatermark` 相同。
|
||||
3. **`videoURL`**(网页默认播放流):
|
||||
- 包含品牌大标与 AI 生成双重水印,作为回退备用。
|
||||
|
||||
### 2.3 JSON-LD (Schema.org) 兜底
|
||||
如果页面流式节点发生重构,解析器会自动回退到页面自带的 `<script type="application/ld+json">` 中的 `VideoObject` 结构进行解析。
|
||||
|
||||
---
|
||||
|
||||
## 3. 测试与验证
|
||||
|
||||
* **单元测试**:[tests/test_hailuo_parser.py](file:///Users/leo/Projects/media-parser/tests/test_hailuo_parser.py)
|
||||
* **执行测试**:
|
||||
```bash
|
||||
.venv/bin/python -m unittest tests/test_hailuo_parser.py
|
||||
.venv/bin/python tests/manual_verify_parsers.py --platform 海螺AI
|
||||
```
|
||||
+2
-2
@@ -48,10 +48,10 @@ pytest tests/test_live_parser_samples.py -s
|
||||
```
|
||||
|
||||
### 4. 运行交互式真实样本回归验证工具
|
||||
[tests/manual_verify_parsers.py](file:///Users/leo/Projects/media-parser/tests/manual_verify_parsers.py) 支持对 33 个平台的多种形态(短链、长链、视频、图集等)发起真实网络请求与字段契约校验:
|
||||
[tests/manual_verify_parsers.py](file:///Users/leo/Projects/media-parser/tests/manual_verify_parsers.py) 支持对 34 个平台的多种形态(短链、长链、视频、图集等)发起真实网络请求与字段契约校验:
|
||||
|
||||
```bash
|
||||
# 1. 快速冒烟测试 (每个平台只测 1 条最具代表性的链接,极速完成 33 平台基准健康检查)
|
||||
# 1. 快速冒烟测试 (每个平台只测 1 条最具代表性的链接,极速完成 34 平台基准健康检查)
|
||||
python3 tests/manual_verify_parsers.py --limit 1
|
||||
|
||||
# 2. 验证指定平台的多形态覆盖 (支持重复传入多个 --platform 参数)
|
||||
|
||||
@@ -0,0 +1,197 @@
|
||||
from src.parser_factory import register_parser
|
||||
"""海螺AI(Hailuo AI / MiniMax)视频与作品分享解析器。"""
|
||||
|
||||
import json
|
||||
import re
|
||||
|
||||
from configs.general_constants import USER_AGENT_PC
|
||||
from configs.logging_config import get_logger
|
||||
from src.parsers.base_parser import BaseParser
|
||||
|
||||
logger = get_logger(__name__)
|
||||
|
||||
|
||||
@register_parser("海螺AI")
|
||||
class HailuoParser(BaseParser):
|
||||
"""海螺AI(MiniMax)视频与作品分享解析器。
|
||||
|
||||
支持解析 https://hailuoai.com/share/ai-video/{id} 等公开分享链接。
|
||||
优先提取去除品牌大标的水印优化直链(downloadURLWithAIWatermark / downloadURL)。
|
||||
"""
|
||||
|
||||
def __init__(self, real_url):
|
||||
super().__init__(real_url)
|
||||
self.headers = {
|
||||
"User-Agent": USER_AGENT_PC[0],
|
||||
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8",
|
||||
"Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
|
||||
}
|
||||
self.title = None
|
||||
self.cover_url = None
|
||||
self.video_url = None
|
||||
self.video_list = []
|
||||
self.image_list = []
|
||||
self.author = None
|
||||
self._parse()
|
||||
|
||||
def _parse(self):
|
||||
if not self.real_url:
|
||||
return
|
||||
html_content = self.fetch_html_content()
|
||||
if not html_content:
|
||||
return
|
||||
|
||||
# 1. 优先从 Next.js Flight SSR 数据流中提取 videoAsset
|
||||
asset = self._extract_flight_video_asset(html_content)
|
||||
if asset:
|
||||
self._apply_video_asset(asset)
|
||||
return
|
||||
|
||||
# 2. 兜底从 JSON-LD (application/ld+json) 中提取 VideoObject
|
||||
ld_video = self._extract_ld_json_video(html_content)
|
||||
if ld_video:
|
||||
self._apply_ld_video(ld_video)
|
||||
|
||||
def _extract_flight_video_asset(self, html_content):
|
||||
# 匹配 self.__next_f.push([1, "..."])
|
||||
pushes = re.findall(r"self\.__next_f\.push\(\[1,\s*\"(.*?)\"\]\)", html_content, re.DOTALL)
|
||||
for chunk in pushes:
|
||||
try:
|
||||
decoded = json.loads(f'"{chunk}"')
|
||||
if "videoAsset" in decoded:
|
||||
idx = decoded.find(":")
|
||||
if idx != -1:
|
||||
json_str = decoded[idx + 1 :]
|
||||
try:
|
||||
data = json.loads(json_str)
|
||||
asset = self._find_key_in_tree(data, "videoAsset")
|
||||
if isinstance(asset, dict):
|
||||
return asset
|
||||
except Exception:
|
||||
pass
|
||||
except Exception:
|
||||
continue
|
||||
|
||||
# 兜底:直接在 HTML 中用正则匹配提取 videoAsset JSON 块
|
||||
match = re.search(r"\"videoAsset\":\s*(\{.+?\})(?:,\s*\"[a-zA-Z0-9_-]+\":|\]|\})", html_content)
|
||||
if match:
|
||||
try:
|
||||
asset_str = match.group(1).encode("utf-8").decode("unicode_escape", errors="ignore")
|
||||
return json.loads(asset_str)
|
||||
except Exception:
|
||||
pass
|
||||
|
||||
return None
|
||||
|
||||
def _find_key_in_tree(self, obj, target_key):
|
||||
if isinstance(obj, dict):
|
||||
for k, v in obj.items():
|
||||
if k == target_key and isinstance(v, dict):
|
||||
return v
|
||||
res = self._find_key_in_tree(v, target_key)
|
||||
if res is not None:
|
||||
return res
|
||||
elif isinstance(obj, list):
|
||||
for item in obj:
|
||||
res = self._find_key_in_tree(item, target_key)
|
||||
if res is not None:
|
||||
return res
|
||||
return None
|
||||
|
||||
def _apply_video_asset(self, asset):
|
||||
# 1. 提取标题 / 描述
|
||||
self.title = asset.get("title") or asset.get("desc") or "海螺AI 作品"
|
||||
|
||||
# 2. 提取视频直链(优先提取去除品牌大标的直链)
|
||||
video_urls_obj = asset.get("videoURLs") or {}
|
||||
candidate_video = (
|
||||
video_urls_obj.get("downloadURLWithAIWatermark")
|
||||
or asset.get("downloadURL")
|
||||
or asset.get("videoURL")
|
||||
or video_urls_obj.get("downloadURLWithHailuoWatermark")
|
||||
)
|
||||
if candidate_video:
|
||||
self.video_url = candidate_video
|
||||
self.video_list = [candidate_video]
|
||||
|
||||
# 3. 提取封面
|
||||
self.cover_url = asset.get("coverURL") or asset.get("promptImgURL")
|
||||
|
||||
# 4. 提取作者信息
|
||||
user_id = asset.get("userIDStr") or asset.get("userID")
|
||||
if user_id:
|
||||
self.author = {
|
||||
"nickname": "",
|
||||
"author_id": str(user_id),
|
||||
"avatar": "",
|
||||
"description": "",
|
||||
}
|
||||
|
||||
# 5. 提取参考图/素材图
|
||||
origin_files = asset.get("originFiles") or []
|
||||
images = []
|
||||
for item in origin_files:
|
||||
if isinstance(item, dict):
|
||||
url = item.get("url") or item.get("coverUrl")
|
||||
if url and url not in images:
|
||||
images.append(url)
|
||||
self.image_list = images
|
||||
|
||||
def _extract_ld_json_video(self, html_content):
|
||||
matches = re.finditer(
|
||||
r"<script[^>]*type=[\"']application/ld\+json[\"'][^>]*>(.*?)</script>",
|
||||
html_content,
|
||||
re.DOTALL,
|
||||
)
|
||||
for m in matches:
|
||||
raw = m.group(1).strip()
|
||||
# 兼容嵌套在 next_s push 中的场景
|
||||
if "children" in raw:
|
||||
c_match = re.search(r"\"children\":\s*(\".*?\")\s*\}\]\)", raw)
|
||||
if c_match:
|
||||
try:
|
||||
raw = json.loads(c_match.group(1))
|
||||
except Exception:
|
||||
pass
|
||||
try:
|
||||
data = json.loads(raw)
|
||||
graph = data.get("@graph", [data]) if isinstance(data, dict) else [data]
|
||||
for item in graph:
|
||||
if isinstance(item, dict) and item.get("@type") == "VideoObject":
|
||||
return item
|
||||
except Exception:
|
||||
continue
|
||||
return None
|
||||
|
||||
def _apply_ld_video(self, ld_video):
|
||||
self.title = ld_video.get("description") or ld_video.get("name") or "海螺AI 作品"
|
||||
self.video_url = ld_video.get("contentUrl")
|
||||
if self.video_url:
|
||||
self.video_list = [self.video_url]
|
||||
self.cover_url = ld_video.get("thumbnailUrl")
|
||||
author_data = ld_video.get("author")
|
||||
if isinstance(author_data, dict):
|
||||
self.author = {
|
||||
"nickname": (author_data.get("name") or "").strip(),
|
||||
"author_id": "",
|
||||
"avatar": "",
|
||||
"description": "",
|
||||
}
|
||||
|
||||
def get_real_video_url(self):
|
||||
return self.video_url
|
||||
|
||||
def get_title_content(self):
|
||||
return self.title or "海螺AI 作品"
|
||||
|
||||
def get_cover_photo_url(self):
|
||||
return self.cover_url
|
||||
|
||||
def get_author_info(self):
|
||||
return self.author
|
||||
|
||||
def get_image_list(self):
|
||||
return self.image_list
|
||||
|
||||
def get_video_list(self):
|
||||
return self.video_list
|
||||
@@ -466,7 +466,7 @@
|
||||
<div class="w-8 h-8 rounded-lg bg-slate-800 text-white flex items-center justify-center text-xs font-black">+</div>
|
||||
<div>
|
||||
<div class="text-xs font-bold text-slate-800">更多平台</div>
|
||||
<div class="text-[10px] text-slate-400">皮皮虾/好看/可灵等</div>
|
||||
<div class="text-[10px] text-slate-400">皮皮虾/可灵/海螺等</div>
|
||||
</div>
|
||||
</div>
|
||||
</div>
|
||||
|
||||
@@ -1,7 +1,7 @@
|
||||
{
|
||||
"schema_version": 2,
|
||||
"description": "33 平台多形态全景自动化回归测试用例库 (涵盖短链/长链/图集/单视频/AI生成等)",
|
||||
"total_cases": 272,
|
||||
"description": "34 平台多形态全景自动化回归测试用例库 (涵盖短链/长链/图集/单视频/AI生成等)",
|
||||
"total_cases": 274,
|
||||
"cases": [
|
||||
{
|
||||
"platform": "AcFun",
|
||||
@@ -107,6 +107,36 @@
|
||||
"note": "2026-08-28 已验证",
|
||||
"pattern": "基础标准样例"
|
||||
},
|
||||
{
|
||||
"platform": "海螺AI",
|
||||
"url": "https://hailuoai.com/share/ai-video/enbrdg0JlAen?source-scene=shared",
|
||||
"media_types": [
|
||||
"video"
|
||||
],
|
||||
"expected_fields": [
|
||||
"video",
|
||||
"cover",
|
||||
"title",
|
||||
"author"
|
||||
],
|
||||
"note": "2026-08 真实反馈验证: 海螺AI 图生视频分享",
|
||||
"pattern": "基础标准样例"
|
||||
},
|
||||
{
|
||||
"platform": "海螺AI",
|
||||
"url": "https://hailuoai.com/share/ai-video/RkDkwWYZQRby?source-scene=shared&source-media=shared_wechat",
|
||||
"media_types": [
|
||||
"video"
|
||||
],
|
||||
"expected_fields": [
|
||||
"video",
|
||||
"cover",
|
||||
"title",
|
||||
"author"
|
||||
],
|
||||
"note": "2026-08 真实反馈验证: 海螺AI 文生视频分享",
|
||||
"pattern": "文生视频样例"
|
||||
},
|
||||
{
|
||||
"platform": "哔哩哔哩",
|
||||
"url": "https://www.bilibili.com/video/BV1asTR6FEWu",
|
||||
|
||||
@@ -71,7 +71,7 @@ def verify_case(case):
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser(description="一键多形态验证 33 平台真实分享链接")
|
||||
parser = argparse.ArgumentParser(description="一键多形态验证 34 平台真实分享链接")
|
||||
parser.add_argument("--platform", action="append", help="仅验证指定平台;可重复传入")
|
||||
parser.add_argument("--list-missing", action="store_true", help="仅列出缺少链接的平台")
|
||||
parser.add_argument("--limit", type=int, default=0, help="限制每个平台运行的最大用例数 (默认全部)")
|
||||
@@ -100,7 +100,7 @@ def main():
|
||||
limited_cases.append(case)
|
||||
cases = limited_cases
|
||||
|
||||
print(f"🧪 开始执行 33 平台自动化多形态链接验证 (共 {len(cases)} 条用例)...\n")
|
||||
print(f"🧪 开始执行 34 平台自动化多形态链接验证 (共 {len(cases)} 条用例)...\n")
|
||||
results = [verify_case(case) for case in cases]
|
||||
for status, platform, pattern, detail, url in results:
|
||||
status_tag = f"✅ {status}" if status == "PASSED" else (f"❌ {status}" if status == "FAILED" else f"⚪ {status}")
|
||||
|
||||
@@ -0,0 +1,128 @@
|
||||
import json
|
||||
import unittest
|
||||
from unittest.mock import Mock, patch
|
||||
|
||||
from src.parsers.hailuo_parser import HailuoParser
|
||||
from utils.web_fetcher import UrlParser
|
||||
|
||||
|
||||
class HailuoParserTest(unittest.TestCase):
|
||||
def test_parses_nextjs_flight_ssr_payload(self):
|
||||
video_asset = {
|
||||
"id": "546156739889123328",
|
||||
"desc": "第一秒的时候轻微点头,第二秒连续摇头",
|
||||
"coverURL": "https://cdn.hailuoai.com/cover.jpg",
|
||||
"videoURL": "https://cdn.hailuoai.com/preview.mp4",
|
||||
"downloadURL": "https://cdn.hailuoai.com/download.mp4",
|
||||
"userIDStr": "546139659380772869",
|
||||
"originFiles": [
|
||||
{
|
||||
"id": "1",
|
||||
"url": "https://cdn.hailuoai.com/ref1.jpg",
|
||||
"coverUrl": "https://cdn.hailuoai.com/ref1_thumb.jpg",
|
||||
},
|
||||
{
|
||||
"id": "2",
|
||||
"url": "https://cdn.hailuoai.com/ref2.jpg",
|
||||
},
|
||||
],
|
||||
"videoURLs": {
|
||||
"downloadURLWithAIWatermark": "https://cdn.hailuoai.com/clean_ai.mp4",
|
||||
"downloadURLWithHailuoWatermark": "https://cdn.hailuoai.com/brand_hailuo.mp4",
|
||||
},
|
||||
}
|
||||
|
||||
# 构建类似于 Next.js Flight SSR 的 push 片段
|
||||
flight_tree = ["$", "div", None, {"video": {"videoAsset": video_asset}}]
|
||||
flight_chunk = "25:" + json.dumps(flight_tree, ensure_ascii=False)
|
||||
escaped_chunk = json.dumps(flight_chunk)[1:-1] # 去掉前后引号,作为 js 字符串
|
||||
|
||||
html_text = (
|
||||
'<!DOCTYPE html><html><head></head><body>'
|
||||
f'<script>self.__next_f.push([1,"{escaped_chunk}"])</script>'
|
||||
'</body></html>'
|
||||
)
|
||||
|
||||
response = Mock(text=html_text)
|
||||
response.raise_for_status.return_value = None
|
||||
|
||||
with patch("requests.Session.get", return_value=response) as get:
|
||||
parser = HailuoParser("https://hailuoai.com/share/ai-video/enbrdg0JlAen?source-scene=shared")
|
||||
|
||||
self.assertEqual(parser.get_title_content(), "第一秒的时候轻微点头,第二秒连续摇头")
|
||||
# 优先选用去品牌水印的 downloadURLWithAIWatermark
|
||||
self.assertEqual(parser.get_real_video_url(), "https://cdn.hailuoai.com/clean_ai.mp4")
|
||||
self.assertEqual(parser.get_cover_photo_url(), "https://cdn.hailuoai.com/cover.jpg")
|
||||
self.assertEqual(parser.get_author_info()["author_id"], "546139659380772869")
|
||||
self.assertEqual(
|
||||
parser.get_image_list(),
|
||||
["https://cdn.hailuoai.com/ref1.jpg", "https://cdn.hailuoai.com/ref2.jpg"],
|
||||
)
|
||||
|
||||
def test_parses_json_ld_fallback(self):
|
||||
ld_json = {
|
||||
"@context": "https://schema.org",
|
||||
"@graph": [
|
||||
{
|
||||
"@type": "VideoObject",
|
||||
"name": "海螺视频测试标题",
|
||||
"description": "这是详细描述",
|
||||
"contentUrl": "https://cdn.hailuoai.com/ld_video.mp4",
|
||||
"thumbnailUrl": "https://cdn.hailuoai.com/ld_thumb.jpg",
|
||||
"author": {"@type": "Person", "name": "创作者小明"},
|
||||
}
|
||||
],
|
||||
}
|
||||
|
||||
html_text = (
|
||||
'<!DOCTYPE html><html><head>'
|
||||
f'<script type="application/ld+json">{json.dumps(ld_json)}</script>'
|
||||
'</head><body></body></html>'
|
||||
)
|
||||
|
||||
response = Mock(text=html_text)
|
||||
response.raise_for_status.return_value = None
|
||||
|
||||
with patch("requests.Session.get", return_value=response):
|
||||
parser = HailuoParser("https://hailuoai.com/share/ai-video/test123")
|
||||
|
||||
self.assertEqual(parser.get_title_content(), "这是详细描述")
|
||||
self.assertEqual(parser.get_real_video_url(), "https://cdn.hailuoai.com/ld_video.mp4")
|
||||
self.assertEqual(parser.get_cover_photo_url(), "https://cdn.hailuoai.com/ld_thumb.jpg")
|
||||
self.assertEqual(parser.get_author_info()["nickname"], "创作者小明")
|
||||
|
||||
def test_handles_empty_or_failed_response(self):
|
||||
response = Mock(text="")
|
||||
response.raise_for_status.return_value = None
|
||||
|
||||
with patch("requests.Session.get", return_value=response):
|
||||
parser = HailuoParser("https://hailuoai.com/share/ai-video/invalid")
|
||||
|
||||
self.assertIsNone(parser.get_real_video_url())
|
||||
self.assertEqual(parser.get_title_content(), "海螺AI 作品")
|
||||
self.assertIsNone(parser.get_cover_photo_url())
|
||||
self.assertIsNone(parser.get_author_info())
|
||||
self.assertEqual(parser.get_image_list(), [])
|
||||
|
||||
|
||||
class HailuoUrlParserTest(unittest.TestCase):
|
||||
def test_detects_hailuo_domains(self):
|
||||
cases = [
|
||||
("https://hailuoai.com/share/ai-video/enbrdg0JlAen?source-scene=shared", "海螺AI"),
|
||||
("https://www.hailuoai.com/share/ai-video/enbrdg0JlAen", "海螺AI"),
|
||||
("https://hailuoai.video/share/ai-video/RkDkwWYZQRby", "海螺AI"),
|
||||
("https://www.hailuoai.video/share/ai-video/RkDkwWYZQRby", "海螺AI"),
|
||||
]
|
||||
for url, expected_platform in cases:
|
||||
with self.subTest(url=url):
|
||||
self.assertEqual(UrlParser.get_platform(url), expected_platform)
|
||||
|
||||
def test_extracts_clean_address(self):
|
||||
url = "https://hailuoai.com/share/ai-video/enbrdg0JlAen?source-scene=shared&source-media=shared_wechat"
|
||||
clean = UrlParser.extract_video_address(url)
|
||||
self.assertEqual(clean, "https://hailuoai.com/share/ai-video/enbrdg0JlAen")
|
||||
|
||||
def test_extracts_video_id(self):
|
||||
url = "https://hailuoai.com/share/ai-video/enbrdg0JlAen?source-scene=shared"
|
||||
video_id = UrlParser.get_video_id(url)
|
||||
self.assertEqual(video_id, "enbrdg0JlAen")
|
||||
@@ -112,6 +112,16 @@ class UrlParserTest(unittest.TestCase):
|
||||
"可灵AI",
|
||||
)
|
||||
|
||||
def test_recognizes_hailuo_domains(self):
|
||||
self.assertEqual(
|
||||
UrlParser.get_platform("https://hailuoai.com/share/ai-video/enbrdg0JlAen?source-scene=shared"),
|
||||
"海螺AI",
|
||||
)
|
||||
self.assertEqual(
|
||||
UrlParser.get_platform("https://hailuoai.video/share/ai-video/RkDkwWYZQRby"),
|
||||
"海螺AI",
|
||||
)
|
||||
|
||||
def test_recognizes_soul_share_domain(self):
|
||||
self.assertEqual(UrlParser.get_platform("https://w13.soulsmile.cn/activity/"), "Soul")
|
||||
|
||||
|
||||
@@ -23,7 +23,7 @@ class WebFetcher:
|
||||
# 微博博文可通过 API 直接根据 ID 解析,直接访问网页端常触发访客系统重定向。
|
||||
domain = UrlParser.get_domain(url)
|
||||
if domain not in {"t.cn", "b23.tv", "xhslink.cn", "xhslink.com", "hy.fan"}:
|
||||
if UrlParser.get_platform(url) in {"知乎", "绿洲", "新片场", "夸克AI", "通义千问", "微博", "小云雀AI", "哔哩哔哩", "快影", "微信公众号"}:
|
||||
if UrlParser.get_platform(url) in {"知乎", "绿洲", "新片场", "夸克AI", "通义千问", "微博", "小云雀AI", "哔哩哔哩", "快影", "微信公众号", "海螺AI"}:
|
||||
return UrlParser.extract_video_address(url)
|
||||
try:
|
||||
current_url = url
|
||||
|
||||
Reference in New Issue
Block a user