支持海螺AI平台解析并更新相关文档与测试

This commit is contained in:
ucmao
2026-08-31 23:06:38 +08:00
parent 690118db6b
commit 08117aa649
12 changed files with 468 additions and 41 deletions
+7 -6
View File
@@ -3,7 +3,7 @@
**基于 Python 的多平台媒体原生本地解析系统**
[![License](https://img.shields.io/badge/license-MIT-green.svg)](LICENSE) [![Python Version](https://img.shields.io/badge/python-3.10+-blue.svg)](https://www.python.org/) [![Flask](https://img.shields.io/badge/Framework-Flask-000000?logo=flask&logoColor=white)](https://flask.palletsprojects.com/) [![Docker](https://img.shields.io/badge/Docker-Ready-2496ED?logo=docker&logoColor=white)](#-部署指南) [![Support](https://img.shields.io/badge/support-33%20Platforms-brightgreen.svg)](#-支持的平台矩阵)
[![License](https://img.shields.io/badge/license-MIT-green.svg)](LICENSE) [![Python Version](https://img.shields.io/badge/python-3.10+-blue.svg)](https://www.python.org/) [![Flask](https://img.shields.io/badge/Framework-Flask-000000?logo=flask&logoColor=white)](https://flask.palletsprojects.com/) [![Docker](https://img.shields.io/badge/Docker-Ready-2496ED?logo=docker&logoColor=white)](#-部署指南) [![Support](https://img.shields.io/badge/support-34%20Platforms-brightgreen.svg)](#-支持的平台矩阵)
<p align="center">
<a href="#-核心解析逻辑">解析逻辑</a> •
@@ -54,6 +54,7 @@
| **即梦AI** | ✓ | ✓ | ✓ | ✓ | | | | |
| **小云雀AI** | ✓ | ✓ | ✓ | ✓ | ✓ | | | |
| **可灵AI** | ✓ | ✓ | ✓ | ✓ | | | | |
| **海螺AI** | ✓ | ✓ | ✓ | ✓ | ✓ | | | |
| **夸克AI** | ✓ | ✓ | ✓ | ✓ | ✓ | | | |
| **通义千问** | ✓ | ✓ | ✓ | ✓ | ✓ | | | |
| **闲鱼** | | ✓ | ✓ | | ✓ | | | |
@@ -141,17 +142,17 @@ media-parser/
│ ├── architecture.md # 系统分层架构与生命周期设计
│ ├── reverse-guide.md # 通用逆向方法论 (抓包/SSR/JS签名提取)
│ ├── testing.md # 完整测试规范与回归手册
│ └── parsers/ # 33 个平台的独立逆向分析文档
│ └── parsers/ # 34 个平台的独立逆向分析文档
├── src/ # 核心业务逻辑
│ ├── api/ # RESTful API 路由 (/api/parse, /api/health)
│ ├── web/ # Demo 体验页与交互蓝图
│ ├── parsers/ # 33 个平台解析器实现 (核心解析逻辑)
│ ├── parsers/ # 34 个平台解析器实现 (核心解析逻辑)
│ └── parser_factory.py # 工厂分发器 (解析器动态发现与自动注册)
├── utils/ # 底层工具库与逆向支持
│ ├── signer/ # JS 签名沙箱引擎 (a_bogus, x_bogus 等算法执行)
│ └── web_fetcher.py # 智能 URL 识别、重定向追踪与请求封装
├── tests/ # 完备的双层测试体系
│ ├── live_parser_samples.json # 33 平台真实多形态在线样本库
│ ├── live_parser_samples.json # 34 平台真实多形态在线样本库
│ ├── manual_verify_parsers.py # 命令行交互式冒烟与健康检查工具
│ └── test_*_parser.py # 各平台 Mock 自动化单元测试
├── static/ & templates/ # Web 演示页面前端静态资源
@@ -165,7 +166,7 @@ media-parser/
* 🏗️ **[系统架构与生命周期设计](docs/architecture.md)**:分层设计、302 追踪与 `ParserFactory` 动态发现机制。
* 🔍 **[通用逆向方法论](docs/reverse-guide.md)**:SSR 数据提取、H5 接口伪装、JS 签名沙箱及抓包 SOP。
* 🧪 **[测试体系与回归验证](docs/testing.md)**:Pytest 单元测试、Mock 与线上真实样例回归。
* 📚 **[平台逆向指南索引](docs/index.md)**:包含抖音、快手、小红书、B站等全部 33 个平台的独立技术文档。
* 📚 **[平台逆向指南索引](docs/index.md)**:包含抖音、快手、小红书、B站等全部 34 个平台的独立技术文档。
---
@@ -174,7 +175,7 @@ media-parser/
本项目拥有完备的测试体系,包括基础单元测试与基于真实样本库的在线回归测试:
### 1. 真实样本交互式验证
样例测试库见 [`tests/live_parser_samples.json`](tests/live_parser_samples.json),用于实时验证 33 个平台解析器的有效性与多形态覆盖:
样例测试库见 [`tests/live_parser_samples.json`](tests/live_parser_samples.json),用于实时验证 34 个平台解析器的有效性与多形态覆盖:
```bash
# 快速冒烟测试(每个平台测 1 条最具代表性的链接,极速完成健康检查)
+4
View File
@@ -57,6 +57,10 @@
"v.jimeng.aiseet.atry.com": "即梦AI",
"xiaoyunque.jianying.com": "小云雀AI",
"klingai-share.kuaishou.com": "可灵AI",
"hailuoai.com": "海螺AI",
"www.hailuoai.com": "海螺AI",
"hailuoai.video": "海螺AI",
"www.hailuoai.video": "海螺AI",
"w13.soulsmile.cn": "Soul",
"qishui.douyin.com": "汽水音乐",
"music.douyin.com": "汽水音乐",
+28 -27
View File
@@ -15,7 +15,7 @@
* **短视频与轻社区**:[抖音](parsers/douyin.md) | [快手](parsers/kuaishou.md) | [皮皮虾](parsers/pipixia.md) | [皮皮搞笑](parsers/pipigaoxiao.md) | [最右](parsers/zuiyou.md) | [美拍](parsers/meipai.md) | [微视](parsers/weishi.md) | [绿洲](parsers/lvzhou.md)
* **图文与综合社区**:[小红书](parsers/xiaohongshu.md) | [微信公众号](parsers/wechat-mp.md) | [微博](parsers/weibo.md) | [知乎](parsers/zhihu.md) | [闲鱼](parsers/xianyu.md) | [Soul](parsers/soul.md)
* **长视频与弹幕/创作**:[哔哩哔哩](parsers/bilibili.md) | [AcFun](parsers/acfun.md) | [新片场](parsers/xinpianchang.md) | [好看视频](parsers/haokan.md) | [西瓜视频](parsers/xigua.md) | [剪映](parsers/jianying.md) | [快影](parsers/kwaiying.md)
* **AI 生成与大模型**:[豆包 AI](parsers/doubao.md) | [即梦 AI](parsers/jimeng.md) | [可灵 AI](parsers/kling.md) | [通义千问](parsers/qianwen.md) | [夸克 AI](parsers/quark-ai.md) | [小云雀 AI](parsers/xiaoyunque.md)
* **AI 生成与大模型**:[豆包 AI](parsers/doubao.md) | [即梦 AI](parsers/jimeng.md) | [可灵 AI](parsers/kling.md) | [海螺 AI](parsers/hailuo.md) | [通义千问](parsers/qianwen.md) | [夸克 AI](parsers/quark-ai.md) | [小云雀 AI](parsers/xiaoyunque.md)
* **音频与垂直频道**:[汽水音乐](parsers/qsmusic.md) | [全民K歌](parsers/quanminkge.md) | [虎牙](parsers/huya.md) | [梨视频](parsers/lishipin.md) | [微信视频号](parsers/wechat-channels.md) | [腾讯频道](parsers/tencent-channel.md)
---
@@ -36,32 +36,33 @@
| 5 | **豆包 AI** | AI 视频生成直链 | ✅ 支持 | 🔐 需 `DOUBAO_COOKIE` | Web Session 维持 + 任务轮询 | [查看指南](parsers/doubao.md) |
| 6 | **即梦 AI** | AI 视频生成直链 | ✅ 支持 | 🟢 免配置 | 移动分享端接口解析 | [查看指南](parsers/jimeng.md) |
| 7 | **可灵 AI** | AI 视频生成直链 | ✅ 支持 | 🟢 免配置 | 快手可灵 H5 分享接口 | [查看指南](parsers/kling.md) |
| 8 | **通义千问** | AI 图文 / 图像生成 | ✅ 支持 | ⚠️ 需 `YUANBAO_COOKIE` | AI Studio 移动分享端抓取 | [查看指南](parsers/qianwen.md) |
| 9 | **夸克 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 夸克 H5 分享路由解析 | [查看指南](parsers/quark-ai.md) |
| 10 | **小云雀 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 剪映小云雀分享端 | [查看指南](parsers/xiaoyunque.md) |
| 11 | **微博** | 视频 / 微博正文 / 多图 | ✅ 支持 | 🟢 免配置 | 移动端 H5 接口 + Base62 解码 | [查看指南](parsers/weibo.md) |
| 12 | **知乎** | 视频 (Video Pin) / 想法 / 问答 | ✅ 支持 | 🟢 免配置 | Web API 多路由正则提取 | [查看指南](parsers/zhihu.md) |
| 13 | **皮皮虾** | 视频 / 图文 | ✅ 支持 | 🟢 免配置 | H5 接口数据解析 | [查看指南](parsers/pipixia.md) |
| 14 | **皮皮搞笑** | 视频 | ✅ 支持 | 🟢 免配置 | H5 页面 JSON 提取 | [查看指南](parsers/pipigaoxiao.md) |
| 15 | **最右** | 视频 / 图集 | ✅ 支持 | 🟢 免配置 | H5 接口键值映射提取 | [查看指南](parsers/zuiyou.md) |
| 16 | **AcFun** | 视频 (m3u8/MP4) | ✅ 支持 | 🟢 免配置 | KSPlayer 播放器参数还原 | [查看指南](parsers/acfun.md) |
| 17 | **汽水音乐** | UGC 视频 / 背景原声 | ✅ 支持 | 🟢 免配置 | 字节系分享 API | [查看指南](parsers/qsmusic.md) |
| 18 | **全民K歌** | 视频 / 伴奏音频 | ✅ 支持 | 🟢 免配置 | H5 播放页正则提取 | [查看指南](parsers/quanminkge.md) |
| 19 | **虎牙** | 视频 / 录播 | ✅ 支持 | 🟢 免配置 | 移动端短链解析 | [查看指南](parsers/huya.md) |
| 20 | **微信视频号** | 视频 | ✅ 支持 | 🟢 免配置 | 视频号短链解析 | [查看指南](parsers/wechat-channels.md) |
| 21 | **腾讯视频/频道** | 视频 | ✅ 支持 | 🟢 免配置 | 企鹅频道分享解析 | [查看指南](parsers/tencent-channel.md) |
| 22 | **西瓜视频** | 视频 | ✅ 支持 | 🟢 免配置 | 字节系引擎继承解析 | [查看指南](parsers/xigua.md) |
| 23 | **新片场** | 高清视频 | ✅ 支持 | 🟢 免配置 | Next.js SSR 播放页提取 | [查看指南](parsers/xinpianchang.md) |
| 24 | **好看视频** | 百度短视频 | ✅ 支持 | 🟢 免配置 | 百度视频落地页提取 | [查看指南](parsers/haokan.md) |
| 25 | **美拍** | 视频 | ✅ 支持 | 🟢 免配置 | 网页 MP4 流还原 | [查看指南](parsers/meipai.md) |
| 26 | **微视** | 腾讯微视视频 | ✅ 支持 | 🟢 免配置 | 微视开放接口 | [查看指南](parsers/weishi.md) |
| 27 | **绿洲** | 新浪绿洲图文 | ✅ 支持 | 🟢 免配置 | 微博绿洲 H5 提取 | [查看指南](parsers/lvzhou.md) |
| 28 | **闲鱼** | 闲鱼图文贴 | ✅ 支持 | 🟢 免配置 | 淘系分享页解析 | [查看指南](parsers/xianyu.md) |
| 29 | **Soul** | 视频 / 瞬间 | ✅ 支持 | 🟢 免配置 | Web 话题页解析 | [查看指南](parsers/soul.md) |
| 30 | **剪映 / CapCut** | 模板视频 / Web协作视频 | ✅ 支持 | 🟢 免配置 | 字节剪映 & CapCut 协作 API | [查看指南](parsers/jianying.md) |
| 31 | **梨视频** | 资讯短视频 | ✅ 支持 | 🟢 免配置 | 动态防盗链时间戳解密 | [查看指南](parsers/lishipin.md) |
| 32 | **快影** | 模板视频 / 原声音乐 | ✅ 支持 | 🟢 免配置 | 快影 OpenAPI + 动态签名 | [查看指南](parsers/kwaiying.md) |
| 33 | **微信公众号** | 视频 / 文章插图图集 / 音频 | ✅ 支持 | 🟢 免配置 | SSR 正文解析 + 1080P 视频流提取与原画升级 | [查看指南](parsers/wechat-mp.md) |
| 8 | **海螺 AI** | AI 视频直链 / Prompt / 参考帧 | ✅ 支持 | 🟢 免配置 | Next.js Flight SSR 流式渲染解析 | [查看指南](parsers/hailuo.md) |
| 9 | **通义千问** | AI 图文 / 图像生成 | ✅ 支持 | ⚠️ 需 `YUANBAO_COOKIE` | AI Studio 移动分享端抓取 | [查看指南](parsers/qianwen.md) |
| 10 | **夸克 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 夸克 H5 分享路由解析 | [查看指南](parsers/quark-ai.md) |
| 11 | **小云雀 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 剪映小云雀分享端 | [查看指南](parsers/xiaoyunque.md) |
| 12 | **微博** | 视频 / 微博正文 / 多图 | ✅ 支持 | 🟢 免配置 | 移动端 H5 接口 + Base62 解码 | [查看指南](parsers/weibo.md) |
| 13 | **知乎** | 视频 (Video Pin) / 想法 / 问答 | ✅ 支持 | 🟢 免配置 | Web API 多路由正则提取 | [查看指南](parsers/zhihu.md) |
| 14 | **皮皮虾** | 视频 / 图文 | ✅ 支持 | 🟢 免配置 | H5 接口数据解析 | [查看指南](parsers/pipixia.md) |
| 15 | **皮皮搞笑** | 视频 | ✅ 支持 | 🟢 免配置 | H5 页面 JSON 提取 | [查看指南](parsers/pipigaoxiao.md) |
| 16 | **最右** | 视频 / 图集 | ✅ 支持 | 🟢 免配置 | H5 接口键值映射提取 | [查看指南](parsers/zuiyou.md) |
| 17 | **AcFun** | 视频 (m3u8/MP4) | ✅ 支持 | 🟢 免配置 | KSPlayer 播放器参数还原 | [查看指南](parsers/acfun.md) |
| 18 | **汽水音乐** | UGC 视频 / 背景原声 | ✅ 支持 | 🟢 免配置 | 字节系分享 API | [查看指南](parsers/qsmusic.md) |
| 19 | **全民K歌** | 视频 / 伴奏音频 | ✅ 支持 | 🟢 免配置 | H5 播放页正则提取 | [查看指南](parsers/quanminkge.md) |
| 20 | **虎牙** | 视频 / 录播 | ✅ 支持 | 🟢 免配置 | 移动端短链解析 | [查看指南](parsers/huya.md) |
| 21 | **微信视频号** | 视频 | ✅ 支持 | 🟢 免配置 | 视频号短链解析 | [查看指南](parsers/wechat-channels.md) |
| 22 | **腾讯视频/频道** | 视频 | ✅ 支持 | 🟢 免配置 | 企鹅频道分享解析 | [查看指南](parsers/tencent-channel.md) |
| 23 | **西瓜视频** | 视频 | ✅ 支持 | 🟢 免配置 | 字节系引擎继承解析 | [查看指南](parsers/xigua.md) |
| 24 | **新片场** | 高清视频 | ✅ 支持 | 🟢 免配置 | Next.js SSR 播放页提取 | [查看指南](parsers/xinpianchang.md) |
| 25 | **好看视频** | 百度短视频 | ✅ 支持 | 🟢 免配置 | 百度视频落地页提取 | [查看指南](parsers/haokan.md) |
| 26 | **美拍** | 视频 | ✅ 支持 | 🟢 免配置 | 网页 MP4 流还原 | [查看指南](parsers/meipai.md) |
| 27 | **微视** | 腾讯微视视频 | ✅ 支持 | 🟢 免配置 | 微视开放接口 | [查看指南](parsers/weishi.md) |
| 28 | **绿洲** | 新浪绿洲图文 | ✅ 支持 | 🟢 免配置 | 微博绿洲 H5 提取 | [查看指南](parsers/lvzhou.md) |
| 29 | **闲鱼** | 闲鱼图文贴 | ✅ 支持 | 🟢 免配置 | 淘系分享页解析 | [查看指南](parsers/xianyu.md) |
| 30 | **Soul** | 视频 / 瞬间 | ✅ 支持 | 🟢 免配置 | Web 话题页解析 | [查看指南](parsers/soul.md) |
| 31 | **剪映 / CapCut** | 模板视频 / Web协作视频 | ✅ 支持 | 🟢 免配置 | 字节剪映 & CapCut 协作 API | [查看指南](parsers/jianying.md) |
| 32 | **梨视频** | 资讯短视频 | ✅ 支持 | 🟢 免配置 | 动态防盗链时间戳解密 | [查看指南](parsers/lishipin.md) |
| 33 | **快影** | 模板视频 / 原声音乐 | ✅ 支持 | 🟢 免配置 | 快影 OpenAPI + 动态签名 | [查看指南](parsers/kwaiying.md) |
| 34 | **微信公众号** | 视频 / 文章插图图集 / 音频 | ✅ 支持 | 🟢 免配置 | SSR 正文解析 + 1080P 视频流提取与原画升级 | [查看指南](parsers/wechat-mp.md) |
---
+56
View File
@@ -0,0 +1,56 @@
# 海螺AI (Hailuo AI / MiniMax) 逆向解析指南
本篇详细记录 MiniMax 旗下大模型 **海螺AI (Hailuo AI)** 视频与作品分享的接口抓取机制与参数解析。
---
## 1. 平台特征与支持能力
* **平台标识**:`海螺AI`
* **支持媒体类型**:
* AI 生成高清视频 (MP4,去「海螺AI × MINIMAX」品牌图文大标)
* 视频生成封面图与 Prompt 提示词描述
* 图生视频的原始参考帧图片列表 (`image_list`)
* 创作者 ID 与作品 ID
* **常见链接形态**:
* 国内主站:`https://hailuoai.com/share/ai-video/{share_id}?source-scene=shared`
* 国际域名:`https://hailuoai.video/share/ai-video/{share_id}`
* **Cookie 依赖**:无需 Cookie,公开页面流式直出。
---
## 2. 核心逆向流程
### 2.1 Next.js Flight SSR 流式渲染解析
海螺AI 分享落地页使用 Next.js App Router 进行流式服务端渲染(Streaming SSR)。在服务端返回的 HTML 中,内嵌了多个 `self.__next_f.push([1, "..."])` 代码块。
通过解码 Flight 格式数据流并递归遍历 AST 树节点,可直接定位到 `videoAsset` 节点:
* `id`:视频作品内部数字 ID。
* `desc` / `title`:生成视频时用户输入的 Prompt 提示词。
* `coverURL` / `promptImgURL`:视频高清封面与提示词关联图片。
* `userIDStr`:创作者用户编号。
* `originFiles`:生成视频所引用的原始参考图(如首尾帧图片)。
### 2.2 视频直链与去水印策略
在 `videoAsset` 中,服务端预渲染并提供了多个版本的下载流:
1. **`videoURLs.downloadURLWithAIWatermark`**(首选推荐):
- **完全去除了「海螺AI × MINIMAX」品牌图文大标**;
- 仅保留符合法规监管的极浅半透明「AI生成」角标,为公开接口下的最佳纯净直链。
2. **`downloadURL`**:
- 官方标准下载直链,通常与 `downloadURLWithAIWatermark` 相同。
3. **`videoURL`**(网页默认播放流):
- 包含品牌大标与 AI 生成双重水印,作为回退备用。
### 2.3 JSON-LD (Schema.org) 兜底
如果页面流式节点发生重构,解析器会自动回退到页面自带的 `<script type="application/ld+json">` 中的 `VideoObject` 结构进行解析。
---
## 3. 测试与验证
* **单元测试**:[tests/test_hailuo_parser.py](file:///Users/leo/Projects/media-parser/tests/test_hailuo_parser.py)
* **执行测试**:
```bash
.venv/bin/python -m unittest tests/test_hailuo_parser.py
.venv/bin/python tests/manual_verify_parsers.py --platform 海螺AI
```
+2 -2
View File
@@ -48,10 +48,10 @@ pytest tests/test_live_parser_samples.py -s
```
### 4. 运行交互式真实样本回归验证工具
[tests/manual_verify_parsers.py](file:///Users/leo/Projects/media-parser/tests/manual_verify_parsers.py) 支持对 33 个平台的多种形态(短链、长链、视频、图集等)发起真实网络请求与字段契约校验:
[tests/manual_verify_parsers.py](file:///Users/leo/Projects/media-parser/tests/manual_verify_parsers.py) 支持对 34 个平台的多种形态(短链、长链、视频、图集等)发起真实网络请求与字段契约校验:
```bash
# 1. 快速冒烟测试 (每个平台只测 1 条最具代表性的链接,极速完成 33 平台基准健康检查)
# 1. 快速冒烟测试 (每个平台只测 1 条最具代表性的链接,极速完成 34 平台基准健康检查)
python3 tests/manual_verify_parsers.py --limit 1
# 2. 验证指定平台的多形态覆盖 (支持重复传入多个 --platform 参数)
+197
View File
@@ -0,0 +1,197 @@
from src.parser_factory import register_parser
"""海螺AI(Hailuo AI / MiniMax)视频与作品分享解析器。"""
import json
import re
from configs.general_constants import USER_AGENT_PC
from configs.logging_config import get_logger
from src.parsers.base_parser import BaseParser
logger = get_logger(__name__)
@register_parser("海螺AI")
class HailuoParser(BaseParser):
"""海螺AI(MiniMax)视频与作品分享解析器。
支持解析 https://hailuoai.com/share/ai-video/{id} 等公开分享链接。
优先提取去除品牌大标的水印优化直链(downloadURLWithAIWatermark / downloadURL)。
"""
def __init__(self, real_url):
super().__init__(real_url)
self.headers = {
"User-Agent": USER_AGENT_PC[0],
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8",
"Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
}
self.title = None
self.cover_url = None
self.video_url = None
self.video_list = []
self.image_list = []
self.author = None
self._parse()
def _parse(self):
if not self.real_url:
return
html_content = self.fetch_html_content()
if not html_content:
return
# 1. 优先从 Next.js Flight SSR 数据流中提取 videoAsset
asset = self._extract_flight_video_asset(html_content)
if asset:
self._apply_video_asset(asset)
return
# 2. 兜底从 JSON-LD (application/ld+json) 中提取 VideoObject
ld_video = self._extract_ld_json_video(html_content)
if ld_video:
self._apply_ld_video(ld_video)
def _extract_flight_video_asset(self, html_content):
# 匹配 self.__next_f.push([1, "..."])
pushes = re.findall(r"self\.__next_f\.push\(\[1,\s*\"(.*?)\"\]\)", html_content, re.DOTALL)
for chunk in pushes:
try:
decoded = json.loads(f'"{chunk}"')
if "videoAsset" in decoded:
idx = decoded.find(":")
if idx != -1:
json_str = decoded[idx + 1 :]
try:
data = json.loads(json_str)
asset = self._find_key_in_tree(data, "videoAsset")
if isinstance(asset, dict):
return asset
except Exception:
pass
except Exception:
continue
# 兜底:直接在 HTML 中用正则匹配提取 videoAsset JSON 块
match = re.search(r"\"videoAsset\":\s*(\{.+?\})(?:,\s*\"[a-zA-Z0-9_-]+\":|\]|\})", html_content)
if match:
try:
asset_str = match.group(1).encode("utf-8").decode("unicode_escape", errors="ignore")
return json.loads(asset_str)
except Exception:
pass
return None
def _find_key_in_tree(self, obj, target_key):
if isinstance(obj, dict):
for k, v in obj.items():
if k == target_key and isinstance(v, dict):
return v
res = self._find_key_in_tree(v, target_key)
if res is not None:
return res
elif isinstance(obj, list):
for item in obj:
res = self._find_key_in_tree(item, target_key)
if res is not None:
return res
return None
def _apply_video_asset(self, asset):
# 1. 提取标题 / 描述
self.title = asset.get("title") or asset.get("desc") or "海螺AI 作品"
# 2. 提取视频直链(优先提取去除品牌大标的直链)
video_urls_obj = asset.get("videoURLs") or {}
candidate_video = (
video_urls_obj.get("downloadURLWithAIWatermark")
or asset.get("downloadURL")
or asset.get("videoURL")
or video_urls_obj.get("downloadURLWithHailuoWatermark")
)
if candidate_video:
self.video_url = candidate_video
self.video_list = [candidate_video]
# 3. 提取封面
self.cover_url = asset.get("coverURL") or asset.get("promptImgURL")
# 4. 提取作者信息
user_id = asset.get("userIDStr") or asset.get("userID")
if user_id:
self.author = {
"nickname": "",
"author_id": str(user_id),
"avatar": "",
"description": "",
}
# 5. 提取参考图/素材图
origin_files = asset.get("originFiles") or []
images = []
for item in origin_files:
if isinstance(item, dict):
url = item.get("url") or item.get("coverUrl")
if url and url not in images:
images.append(url)
self.image_list = images
def _extract_ld_json_video(self, html_content):
matches = re.finditer(
r"<script[^>]*type=[\"']application/ld\+json[\"'][^>]*>(.*?)</script>",
html_content,
re.DOTALL,
)
for m in matches:
raw = m.group(1).strip()
# 兼容嵌套在 next_s push 中的场景
if "children" in raw:
c_match = re.search(r"\"children\":\s*(\".*?\")\s*\}\]\)", raw)
if c_match:
try:
raw = json.loads(c_match.group(1))
except Exception:
pass
try:
data = json.loads(raw)
graph = data.get("@graph", [data]) if isinstance(data, dict) else [data]
for item in graph:
if isinstance(item, dict) and item.get("@type") == "VideoObject":
return item
except Exception:
continue
return None
def _apply_ld_video(self, ld_video):
self.title = ld_video.get("description") or ld_video.get("name") or "海螺AI 作品"
self.video_url = ld_video.get("contentUrl")
if self.video_url:
self.video_list = [self.video_url]
self.cover_url = ld_video.get("thumbnailUrl")
author_data = ld_video.get("author")
if isinstance(author_data, dict):
self.author = {
"nickname": (author_data.get("name") or "").strip(),
"author_id": "",
"avatar": "",
"description": "",
}
def get_real_video_url(self):
return self.video_url
def get_title_content(self):
return self.title or "海螺AI 作品"
def get_cover_photo_url(self):
return self.cover_url
def get_author_info(self):
return self.author
def get_image_list(self):
return self.image_list
def get_video_list(self):
return self.video_list
+1 -1
View File
@@ -466,7 +466,7 @@
<div class="w-8 h-8 rounded-lg bg-slate-800 text-white flex items-center justify-center text-xs font-black">+</div>
<div>
<div class="text-xs font-bold text-slate-800">更多平台</div>
<div class="text-[10px] text-slate-400">皮皮虾/好看/可灵等</div>
<div class="text-[10px] text-slate-400">皮皮虾/可灵/海螺等</div>
</div>
</div>
</div>
+32 -2
View File
@@ -1,7 +1,7 @@
{
"schema_version": 2,
"description": "33 平台多形态全景自动化回归测试用例库 (涵盖短链/长链/图集/单视频/AI生成等)",
"total_cases": 272,
"description": "34 平台多形态全景自动化回归测试用例库 (涵盖短链/长链/图集/单视频/AI生成等)",
"total_cases": 274,
"cases": [
{
"platform": "AcFun",
@@ -107,6 +107,36 @@
"note": "2026-08-28 已验证",
"pattern": "基础标准样例"
},
{
"platform": "海螺AI",
"url": "https://hailuoai.com/share/ai-video/enbrdg0JlAen?source-scene=shared",
"media_types": [
"video"
],
"expected_fields": [
"video",
"cover",
"title",
"author"
],
"note": "2026-08 真实反馈验证: 海螺AI 图生视频分享",
"pattern": "基础标准样例"
},
{
"platform": "海螺AI",
"url": "https://hailuoai.com/share/ai-video/RkDkwWYZQRby?source-scene=shared&source-media=shared_wechat",
"media_types": [
"video"
],
"expected_fields": [
"video",
"cover",
"title",
"author"
],
"note": "2026-08 真实反馈验证: 海螺AI 文生视频分享",
"pattern": "文生视频样例"
},
{
"platform": "哔哩哔哩",
"url": "https://www.bilibili.com/video/BV1asTR6FEWu",
+2 -2
View File
@@ -71,7 +71,7 @@ def verify_case(case):
def main():
parser = argparse.ArgumentParser(description="一键多形态验证 33 平台真实分享链接")
parser = argparse.ArgumentParser(description="一键多形态验证 34 平台真实分享链接")
parser.add_argument("--platform", action="append", help="仅验证指定平台;可重复传入")
parser.add_argument("--list-missing", action="store_true", help="仅列出缺少链接的平台")
parser.add_argument("--limit", type=int, default=0, help="限制每个平台运行的最大用例数 (默认全部)")
@@ -100,7 +100,7 @@ def main():
limited_cases.append(case)
cases = limited_cases
print(f"🧪 开始执行 33 平台自动化多形态链接验证 (共 {len(cases)} 条用例)...\n")
print(f"🧪 开始执行 34 平台自动化多形态链接验证 (共 {len(cases)} 条用例)...\n")
results = [verify_case(case) for case in cases]
for status, platform, pattern, detail, url in results:
status_tag = f"✅ {status}" if status == "PASSED" else (f"❌ {status}" if status == "FAILED" else f"⚪ {status}")
+128
View File
@@ -0,0 +1,128 @@
import json
import unittest
from unittest.mock import Mock, patch
from src.parsers.hailuo_parser import HailuoParser
from utils.web_fetcher import UrlParser
class HailuoParserTest(unittest.TestCase):
def test_parses_nextjs_flight_ssr_payload(self):
video_asset = {
"id": "546156739889123328",
"desc": "第一秒的时候轻微点头,第二秒连续摇头",
"coverURL": "https://cdn.hailuoai.com/cover.jpg",
"videoURL": "https://cdn.hailuoai.com/preview.mp4",
"downloadURL": "https://cdn.hailuoai.com/download.mp4",
"userIDStr": "546139659380772869",
"originFiles": [
{
"id": "1",
"url": "https://cdn.hailuoai.com/ref1.jpg",
"coverUrl": "https://cdn.hailuoai.com/ref1_thumb.jpg",
},
{
"id": "2",
"url": "https://cdn.hailuoai.com/ref2.jpg",
},
],
"videoURLs": {
"downloadURLWithAIWatermark": "https://cdn.hailuoai.com/clean_ai.mp4",
"downloadURLWithHailuoWatermark": "https://cdn.hailuoai.com/brand_hailuo.mp4",
},
}
# 构建类似于 Next.js Flight SSR 的 push 片段
flight_tree = ["$", "div", None, {"video": {"videoAsset": video_asset}}]
flight_chunk = "25:" + json.dumps(flight_tree, ensure_ascii=False)
escaped_chunk = json.dumps(flight_chunk)[1:-1] # 去掉前后引号,作为 js 字符串
html_text = (
'<!DOCTYPE html><html><head></head><body>'
f'<script>self.__next_f.push([1,"{escaped_chunk}"])</script>'
'</body></html>'
)
response = Mock(text=html_text)
response.raise_for_status.return_value = None
with patch("requests.Session.get", return_value=response) as get:
parser = HailuoParser("https://hailuoai.com/share/ai-video/enbrdg0JlAen?source-scene=shared")
self.assertEqual(parser.get_title_content(), "第一秒的时候轻微点头,第二秒连续摇头")
# 优先选用去品牌水印的 downloadURLWithAIWatermark
self.assertEqual(parser.get_real_video_url(), "https://cdn.hailuoai.com/clean_ai.mp4")
self.assertEqual(parser.get_cover_photo_url(), "https://cdn.hailuoai.com/cover.jpg")
self.assertEqual(parser.get_author_info()["author_id"], "546139659380772869")
self.assertEqual(
parser.get_image_list(),
["https://cdn.hailuoai.com/ref1.jpg", "https://cdn.hailuoai.com/ref2.jpg"],
)
def test_parses_json_ld_fallback(self):
ld_json = {
"@context": "https://schema.org",
"@graph": [
{
"@type": "VideoObject",
"name": "海螺视频测试标题",
"description": "这是详细描述",
"contentUrl": "https://cdn.hailuoai.com/ld_video.mp4",
"thumbnailUrl": "https://cdn.hailuoai.com/ld_thumb.jpg",
"author": {"@type": "Person", "name": "创作者小明"},
}
],
}
html_text = (
'<!DOCTYPE html><html><head>'
f'<script type="application/ld+json">{json.dumps(ld_json)}</script>'
'</head><body></body></html>'
)
response = Mock(text=html_text)
response.raise_for_status.return_value = None
with patch("requests.Session.get", return_value=response):
parser = HailuoParser("https://hailuoai.com/share/ai-video/test123")
self.assertEqual(parser.get_title_content(), "这是详细描述")
self.assertEqual(parser.get_real_video_url(), "https://cdn.hailuoai.com/ld_video.mp4")
self.assertEqual(parser.get_cover_photo_url(), "https://cdn.hailuoai.com/ld_thumb.jpg")
self.assertEqual(parser.get_author_info()["nickname"], "创作者小明")
def test_handles_empty_or_failed_response(self):
response = Mock(text="")
response.raise_for_status.return_value = None
with patch("requests.Session.get", return_value=response):
parser = HailuoParser("https://hailuoai.com/share/ai-video/invalid")
self.assertIsNone(parser.get_real_video_url())
self.assertEqual(parser.get_title_content(), "海螺AI 作品")
self.assertIsNone(parser.get_cover_photo_url())
self.assertIsNone(parser.get_author_info())
self.assertEqual(parser.get_image_list(), [])
class HailuoUrlParserTest(unittest.TestCase):
def test_detects_hailuo_domains(self):
cases = [
("https://hailuoai.com/share/ai-video/enbrdg0JlAen?source-scene=shared", "海螺AI"),
("https://www.hailuoai.com/share/ai-video/enbrdg0JlAen", "海螺AI"),
("https://hailuoai.video/share/ai-video/RkDkwWYZQRby", "海螺AI"),
("https://www.hailuoai.video/share/ai-video/RkDkwWYZQRby", "海螺AI"),
]
for url, expected_platform in cases:
with self.subTest(url=url):
self.assertEqual(UrlParser.get_platform(url), expected_platform)
def test_extracts_clean_address(self):
url = "https://hailuoai.com/share/ai-video/enbrdg0JlAen?source-scene=shared&source-media=shared_wechat"
clean = UrlParser.extract_video_address(url)
self.assertEqual(clean, "https://hailuoai.com/share/ai-video/enbrdg0JlAen")
def test_extracts_video_id(self):
url = "https://hailuoai.com/share/ai-video/enbrdg0JlAen?source-scene=shared"
video_id = UrlParser.get_video_id(url)
self.assertEqual(video_id, "enbrdg0JlAen")
+10
View File
@@ -112,6 +112,16 @@ class UrlParserTest(unittest.TestCase):
"可灵AI",
)
def test_recognizes_hailuo_domains(self):
self.assertEqual(
UrlParser.get_platform("https://hailuoai.com/share/ai-video/enbrdg0JlAen?source-scene=shared"),
"海螺AI",
)
self.assertEqual(
UrlParser.get_platform("https://hailuoai.video/share/ai-video/RkDkwWYZQRby"),
"海螺AI",
)
def test_recognizes_soul_share_domain(self):
self.assertEqual(UrlParser.get_platform("https://w13.soulsmile.cn/activity/"), "Soul")
+1 -1
View File
@@ -23,7 +23,7 @@ class WebFetcher:
# 微博博文可通过 API 直接根据 ID 解析,直接访问网页端常触发访客系统重定向。
domain = UrlParser.get_domain(url)
if domain not in {"t.cn", "b23.tv", "xhslink.cn", "xhslink.com", "hy.fan"}:
if UrlParser.get_platform(url) in {"知乎", "绿洲", "新片场", "夸克AI", "通义千问", "微博", "小云雀AI", "哔哩哔哩", "快影", "微信公众号"}:
if UrlParser.get_platform(url) in {"知乎", "绿洲", "新片场", "夸克AI", "通义千问", "微博", "小云雀AI", "哔哩哔哩", "快影", "微信公众号", "海螺AI"}:
return UrlParser.extract_video_address(url)
try:
current_url = url