diff --git a/README.md b/README.md index b7d92cc..5ecf83f 100644 --- a/README.md +++ b/README.md @@ -3,7 +3,7 @@ **基于 Python 的多平台媒体原生本地解析系统** -[![License](https://img.shields.io/badge/license-MIT-green.svg)](LICENSE) [![Python Version](https://img.shields.io/badge/python-3.10+-blue.svg)](https://www.python.org/) [![Flask](https://img.shields.io/badge/Framework-Flask-000000?logo=flask&logoColor=white)](https://flask.palletsprojects.com/) [![Docker](https://img.shields.io/badge/Docker-Ready-2496ED?logo=docker&logoColor=white)](#-部署指南) [![Support](https://img.shields.io/badge/support-33%20Platforms-brightgreen.svg)](#-支持的平台矩阵) +[![License](https://img.shields.io/badge/license-MIT-green.svg)](LICENSE) [![Python Version](https://img.shields.io/badge/python-3.10+-blue.svg)](https://www.python.org/) [![Flask](https://img.shields.io/badge/Framework-Flask-000000?logo=flask&logoColor=white)](https://flask.palletsprojects.com/) [![Docker](https://img.shields.io/badge/Docker-Ready-2496ED?logo=docker&logoColor=white)](#-部署指南) [![Support](https://img.shields.io/badge/support-34%20Platforms-brightgreen.svg)](#-支持的平台矩阵)

解析逻辑 • @@ -54,6 +54,7 @@ | **即梦AI** | ✓ | ✓ | ✓ | ✓ | | | | | | **小云雀AI** | ✓ | ✓ | ✓ | ✓ | ✓ | | | | | **可灵AI** | ✓ | ✓ | ✓ | ✓ | | | | | +| **海螺AI** | ✓ | ✓ | ✓ | ✓ | ✓ | | | | | **夸克AI** | ✓ | ✓ | ✓ | ✓ | ✓ | | | | | **通义千问** | ✓ | ✓ | ✓ | ✓ | ✓ | | | | | **闲鱼** | | ✓ | ✓ | | ✓ | | | | @@ -141,17 +142,17 @@ media-parser/ │ ├── architecture.md # 系统分层架构与生命周期设计 │ ├── reverse-guide.md # 通用逆向方法论 (抓包/SSR/JS签名提取) │ ├── testing.md # 完整测试规范与回归手册 -│ └── parsers/ # 33 个平台的独立逆向分析文档 +│ └── parsers/ # 34 个平台的独立逆向分析文档 ├── src/ # 核心业务逻辑 │ ├── api/ # RESTful API 路由 (/api/parse, /api/health) │ ├── web/ # Demo 体验页与交互蓝图 -│ ├── parsers/ # 33 个平台解析器实现 (核心解析逻辑) +│ ├── parsers/ # 34 个平台解析器实现 (核心解析逻辑) │ └── parser_factory.py # 工厂分发器 (解析器动态发现与自动注册) ├── utils/ # 底层工具库与逆向支持 │ ├── signer/ # JS 签名沙箱引擎 (a_bogus, x_bogus 等算法执行) │ └── web_fetcher.py # 智能 URL 识别、重定向追踪与请求封装 ├── tests/ # 完备的双层测试体系 -│ ├── live_parser_samples.json # 33 平台真实多形态在线样本库 +│ ├── live_parser_samples.json # 34 平台真实多形态在线样本库 │ ├── manual_verify_parsers.py # 命令行交互式冒烟与健康检查工具 │ └── test_*_parser.py # 各平台 Mock 自动化单元测试 ├── static/ & templates/ # Web 演示页面前端静态资源 @@ -165,7 +166,7 @@ media-parser/ * 🏗️ **[系统架构与生命周期设计](docs/architecture.md)**:分层设计、302 追踪与 `ParserFactory` 动态发现机制。 * 🔍 **[通用逆向方法论](docs/reverse-guide.md)**:SSR 数据提取、H5 接口伪装、JS 签名沙箱及抓包 SOP。 * 🧪 **[测试体系与回归验证](docs/testing.md)**:Pytest 单元测试、Mock 与线上真实样例回归。 -* 📚 **[平台逆向指南索引](docs/index.md)**:包含抖音、快手、小红书、B站等全部 33 个平台的独立技术文档。 +* 📚 **[平台逆向指南索引](docs/index.md)**:包含抖音、快手、小红书、B站等全部 34 个平台的独立技术文档。 --- @@ -174,7 +175,7 @@ media-parser/ 本项目拥有完备的测试体系,包括基础单元测试与基于真实样本库的在线回归测试: ### 1. 真实样本交互式验证 -样例测试库见 [`tests/live_parser_samples.json`](tests/live_parser_samples.json),用于实时验证 33 个平台解析器的有效性与多形态覆盖: +样例测试库见 [`tests/live_parser_samples.json`](tests/live_parser_samples.json),用于实时验证 34 个平台解析器的有效性与多形态覆盖: ```bash # 快速冒烟测试(每个平台测 1 条最具代表性的链接,极速完成健康检查) diff --git a/configs/business_config.json b/configs/business_config.json index bd9827f..c9a5347 100755 --- a/configs/business_config.json +++ b/configs/business_config.json @@ -57,6 +57,10 @@ "v.jimeng.aiseet.atry.com": "即梦AI", "xiaoyunque.jianying.com": "小云雀AI", "klingai-share.kuaishou.com": "可灵AI", + "hailuoai.com": "海螺AI", + "www.hailuoai.com": "海螺AI", + "hailuoai.video": "海螺AI", + "www.hailuoai.video": "海螺AI", "w13.soulsmile.cn": "Soul", "qishui.douyin.com": "汽水音乐", "music.douyin.com": "汽水音乐", diff --git a/docs/index.md b/docs/index.md index 7130e37..8a61e4d 100644 --- a/docs/index.md +++ b/docs/index.md @@ -15,7 +15,7 @@ * **短视频与轻社区**:[抖音](parsers/douyin.md) | [快手](parsers/kuaishou.md) | [皮皮虾](parsers/pipixia.md) | [皮皮搞笑](parsers/pipigaoxiao.md) | [最右](parsers/zuiyou.md) | [美拍](parsers/meipai.md) | [微视](parsers/weishi.md) | [绿洲](parsers/lvzhou.md) * **图文与综合社区**:[小红书](parsers/xiaohongshu.md) | [微信公众号](parsers/wechat-mp.md) | [微博](parsers/weibo.md) | [知乎](parsers/zhihu.md) | [闲鱼](parsers/xianyu.md) | [Soul](parsers/soul.md) * **长视频与弹幕/创作**:[哔哩哔哩](parsers/bilibili.md) | [AcFun](parsers/acfun.md) | [新片场](parsers/xinpianchang.md) | [好看视频](parsers/haokan.md) | [西瓜视频](parsers/xigua.md) | [剪映](parsers/jianying.md) | [快影](parsers/kwaiying.md) - * **AI 生成与大模型**:[豆包 AI](parsers/doubao.md) | [即梦 AI](parsers/jimeng.md) | [可灵 AI](parsers/kling.md) | [通义千问](parsers/qianwen.md) | [夸克 AI](parsers/quark-ai.md) | [小云雀 AI](parsers/xiaoyunque.md) + * **AI 生成与大模型**:[豆包 AI](parsers/doubao.md) | [即梦 AI](parsers/jimeng.md) | [可灵 AI](parsers/kling.md) | [海螺 AI](parsers/hailuo.md) | [通义千问](parsers/qianwen.md) | [夸克 AI](parsers/quark-ai.md) | [小云雀 AI](parsers/xiaoyunque.md) * **音频与垂直频道**:[汽水音乐](parsers/qsmusic.md) | [全民K歌](parsers/quanminkge.md) | [虎牙](parsers/huya.md) | [梨视频](parsers/lishipin.md) | [微信视频号](parsers/wechat-channels.md) | [腾讯频道](parsers/tencent-channel.md) --- @@ -36,32 +36,33 @@ | 5 | **豆包 AI** | AI 视频生成直链 | ✅ 支持 | 🔐 需 `DOUBAO_COOKIE` | Web Session 维持 + 任务轮询 | [查看指南](parsers/doubao.md) | | 6 | **即梦 AI** | AI 视频生成直链 | ✅ 支持 | 🟢 免配置 | 移动分享端接口解析 | [查看指南](parsers/jimeng.md) | | 7 | **可灵 AI** | AI 视频生成直链 | ✅ 支持 | 🟢 免配置 | 快手可灵 H5 分享接口 | [查看指南](parsers/kling.md) | -| 8 | **通义千问** | AI 图文 / 图像生成 | ✅ 支持 | ⚠️ 需 `YUANBAO_COOKIE` | AI Studio 移动分享端抓取 | [查看指南](parsers/qianwen.md) | -| 9 | **夸克 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 夸克 H5 分享路由解析 | [查看指南](parsers/quark-ai.md) | -| 10 | **小云雀 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 剪映小云雀分享端 | [查看指南](parsers/xiaoyunque.md) | -| 11 | **微博** | 视频 / 微博正文 / 多图 | ✅ 支持 | 🟢 免配置 | 移动端 H5 接口 + Base62 解码 | [查看指南](parsers/weibo.md) | -| 12 | **知乎** | 视频 (Video Pin) / 想法 / 问答 | ✅ 支持 | 🟢 免配置 | Web API 多路由正则提取 | [查看指南](parsers/zhihu.md) | -| 13 | **皮皮虾** | 视频 / 图文 | ✅ 支持 | 🟢 免配置 | H5 接口数据解析 | [查看指南](parsers/pipixia.md) | -| 14 | **皮皮搞笑** | 视频 | ✅ 支持 | 🟢 免配置 | H5 页面 JSON 提取 | [查看指南](parsers/pipigaoxiao.md) | -| 15 | **最右** | 视频 / 图集 | ✅ 支持 | 🟢 免配置 | H5 接口键值映射提取 | [查看指南](parsers/zuiyou.md) | -| 16 | **AcFun** | 视频 (m3u8/MP4) | ✅ 支持 | 🟢 免配置 | KSPlayer 播放器参数还原 | [查看指南](parsers/acfun.md) | -| 17 | **汽水音乐** | UGC 视频 / 背景原声 | ✅ 支持 | 🟢 免配置 | 字节系分享 API | [查看指南](parsers/qsmusic.md) | -| 18 | **全民K歌** | 视频 / 伴奏音频 | ✅ 支持 | 🟢 免配置 | H5 播放页正则提取 | [查看指南](parsers/quanminkge.md) | -| 19 | **虎牙** | 视频 / 录播 | ✅ 支持 | 🟢 免配置 | 移动端短链解析 | [查看指南](parsers/huya.md) | -| 20 | **微信视频号** | 视频 | ✅ 支持 | 🟢 免配置 | 视频号短链解析 | [查看指南](parsers/wechat-channels.md) | -| 21 | **腾讯视频/频道** | 视频 | ✅ 支持 | 🟢 免配置 | 企鹅频道分享解析 | [查看指南](parsers/tencent-channel.md) | -| 22 | **西瓜视频** | 视频 | ✅ 支持 | 🟢 免配置 | 字节系引擎继承解析 | [查看指南](parsers/xigua.md) | -| 23 | **新片场** | 高清视频 | ✅ 支持 | 🟢 免配置 | Next.js SSR 播放页提取 | [查看指南](parsers/xinpianchang.md) | -| 24 | **好看视频** | 百度短视频 | ✅ 支持 | 🟢 免配置 | 百度视频落地页提取 | [查看指南](parsers/haokan.md) | -| 25 | **美拍** | 视频 | ✅ 支持 | 🟢 免配置 | 网页 MP4 流还原 | [查看指南](parsers/meipai.md) | -| 26 | **微视** | 腾讯微视视频 | ✅ 支持 | 🟢 免配置 | 微视开放接口 | [查看指南](parsers/weishi.md) | -| 27 | **绿洲** | 新浪绿洲图文 | ✅ 支持 | 🟢 免配置 | 微博绿洲 H5 提取 | [查看指南](parsers/lvzhou.md) | -| 28 | **闲鱼** | 闲鱼图文贴 | ✅ 支持 | 🟢 免配置 | 淘系分享页解析 | [查看指南](parsers/xianyu.md) | -| 29 | **Soul** | 视频 / 瞬间 | ✅ 支持 | 🟢 免配置 | Web 话题页解析 | [查看指南](parsers/soul.md) | -| 30 | **剪映 / CapCut** | 模板视频 / Web协作视频 | ✅ 支持 | 🟢 免配置 | 字节剪映 & CapCut 协作 API | [查看指南](parsers/jianying.md) | -| 31 | **梨视频** | 资讯短视频 | ✅ 支持 | 🟢 免配置 | 动态防盗链时间戳解密 | [查看指南](parsers/lishipin.md) | -| 32 | **快影** | 模板视频 / 原声音乐 | ✅ 支持 | 🟢 免配置 | 快影 OpenAPI + 动态签名 | [查看指南](parsers/kwaiying.md) | -| 33 | **微信公众号** | 视频 / 文章插图图集 / 音频 | ✅ 支持 | 🟢 免配置 | SSR 正文解析 + 1080P 视频流提取与原画升级 | [查看指南](parsers/wechat-mp.md) | +| 8 | **海螺 AI** | AI 视频直链 / Prompt / 参考帧 | ✅ 支持 | 🟢 免配置 | Next.js Flight SSR 流式渲染解析 | [查看指南](parsers/hailuo.md) | +| 9 | **通义千问** | AI 图文 / 图像生成 | ✅ 支持 | ⚠️ 需 `YUANBAO_COOKIE` | AI Studio 移动分享端抓取 | [查看指南](parsers/qianwen.md) | +| 10 | **夸克 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 夸克 H5 分享路由解析 | [查看指南](parsers/quark-ai.md) | +| 11 | **小云雀 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 剪映小云雀分享端 | [查看指南](parsers/xiaoyunque.md) | +| 12 | **微博** | 视频 / 微博正文 / 多图 | ✅ 支持 | 🟢 免配置 | 移动端 H5 接口 + Base62 解码 | [查看指南](parsers/weibo.md) | +| 13 | **知乎** | 视频 (Video Pin) / 想法 / 问答 | ✅ 支持 | 🟢 免配置 | Web API 多路由正则提取 | [查看指南](parsers/zhihu.md) | +| 14 | **皮皮虾** | 视频 / 图文 | ✅ 支持 | 🟢 免配置 | H5 接口数据解析 | [查看指南](parsers/pipixia.md) | +| 15 | **皮皮搞笑** | 视频 | ✅ 支持 | 🟢 免配置 | H5 页面 JSON 提取 | [查看指南](parsers/pipigaoxiao.md) | +| 16 | **最右** | 视频 / 图集 | ✅ 支持 | 🟢 免配置 | H5 接口键值映射提取 | [查看指南](parsers/zuiyou.md) | +| 17 | **AcFun** | 视频 (m3u8/MP4) | ✅ 支持 | 🟢 免配置 | KSPlayer 播放器参数还原 | [查看指南](parsers/acfun.md) | +| 18 | **汽水音乐** | UGC 视频 / 背景原声 | ✅ 支持 | 🟢 免配置 | 字节系分享 API | [查看指南](parsers/qsmusic.md) | +| 19 | **全民K歌** | 视频 / 伴奏音频 | ✅ 支持 | 🟢 免配置 | H5 播放页正则提取 | [查看指南](parsers/quanminkge.md) | +| 20 | **虎牙** | 视频 / 录播 | ✅ 支持 | 🟢 免配置 | 移动端短链解析 | [查看指南](parsers/huya.md) | +| 21 | **微信视频号** | 视频 | ✅ 支持 | 🟢 免配置 | 视频号短链解析 | [查看指南](parsers/wechat-channels.md) | +| 22 | **腾讯视频/频道** | 视频 | ✅ 支持 | 🟢 免配置 | 企鹅频道分享解析 | [查看指南](parsers/tencent-channel.md) | +| 23 | **西瓜视频** | 视频 | ✅ 支持 | 🟢 免配置 | 字节系引擎继承解析 | [查看指南](parsers/xigua.md) | +| 24 | **新片场** | 高清视频 | ✅ 支持 | 🟢 免配置 | Next.js SSR 播放页提取 | [查看指南](parsers/xinpianchang.md) | +| 25 | **好看视频** | 百度短视频 | ✅ 支持 | 🟢 免配置 | 百度视频落地页提取 | [查看指南](parsers/haokan.md) | +| 26 | **美拍** | 视频 | ✅ 支持 | 🟢 免配置 | 网页 MP4 流还原 | [查看指南](parsers/meipai.md) | +| 27 | **微视** | 腾讯微视视频 | ✅ 支持 | 🟢 免配置 | 微视开放接口 | [查看指南](parsers/weishi.md) | +| 28 | **绿洲** | 新浪绿洲图文 | ✅ 支持 | 🟢 免配置 | 微博绿洲 H5 提取 | [查看指南](parsers/lvzhou.md) | +| 29 | **闲鱼** | 闲鱼图文贴 | ✅ 支持 | 🟢 免配置 | 淘系分享页解析 | [查看指南](parsers/xianyu.md) | +| 30 | **Soul** | 视频 / 瞬间 | ✅ 支持 | 🟢 免配置 | Web 话题页解析 | [查看指南](parsers/soul.md) | +| 31 | **剪映 / CapCut** | 模板视频 / Web协作视频 | ✅ 支持 | 🟢 免配置 | 字节剪映 & CapCut 协作 API | [查看指南](parsers/jianying.md) | +| 32 | **梨视频** | 资讯短视频 | ✅ 支持 | 🟢 免配置 | 动态防盗链时间戳解密 | [查看指南](parsers/lishipin.md) | +| 33 | **快影** | 模板视频 / 原声音乐 | ✅ 支持 | 🟢 免配置 | 快影 OpenAPI + 动态签名 | [查看指南](parsers/kwaiying.md) | +| 34 | **微信公众号** | 视频 / 文章插图图集 / 音频 | ✅ 支持 | 🟢 免配置 | SSR 正文解析 + 1080P 视频流提取与原画升级 | [查看指南](parsers/wechat-mp.md) | --- diff --git a/docs/parsers/hailuo.md b/docs/parsers/hailuo.md new file mode 100644 index 0000000..c71ae50 --- /dev/null +++ b/docs/parsers/hailuo.md @@ -0,0 +1,56 @@ +# 海螺AI (Hailuo AI / MiniMax) 逆向解析指南 + +本篇详细记录 MiniMax 旗下大模型 **海螺AI (Hailuo AI)** 视频与作品分享的接口抓取机制与参数解析。 + +--- + +## 1. 平台特征与支持能力 + +* **平台标识**:`海螺AI` +* **支持媒体类型**: + * AI 生成高清视频 (MP4,去「海螺AI × MINIMAX」品牌图文大标) + * 视频生成封面图与 Prompt 提示词描述 + * 图生视频的原始参考帧图片列表 (`image_list`) + * 创作者 ID 与作品 ID +* **常见链接形态**: + * 国内主站:`https://hailuoai.com/share/ai-video/{share_id}?source-scene=shared` + * 国际域名:`https://hailuoai.video/share/ai-video/{share_id}` +* **Cookie 依赖**:无需 Cookie,公开页面流式直出。 + +--- + +## 2. 核心逆向流程 + +### 2.1 Next.js Flight SSR 流式渲染解析 +海螺AI 分享落地页使用 Next.js App Router 进行流式服务端渲染(Streaming SSR)。在服务端返回的 HTML 中,内嵌了多个 `self.__next_f.push([1, "..."])` 代码块。 + +通过解码 Flight 格式数据流并递归遍历 AST 树节点,可直接定位到 `videoAsset` 节点: +* `id`:视频作品内部数字 ID。 +* `desc` / `title`:生成视频时用户输入的 Prompt 提示词。 +* `coverURL` / `promptImgURL`:视频高清封面与提示词关联图片。 +* `userIDStr`:创作者用户编号。 +* `originFiles`:生成视频所引用的原始参考图(如首尾帧图片)。 + +### 2.2 视频直链与去水印策略 +在 `videoAsset` 中,服务端预渲染并提供了多个版本的下载流: +1. **`videoURLs.downloadURLWithAIWatermark`**(首选推荐): + - **完全去除了「海螺AI × MINIMAX」品牌图文大标**; + - 仅保留符合法规监管的极浅半透明「AI生成」角标,为公开接口下的最佳纯净直链。 +2. **`downloadURL`**: + - 官方标准下载直链,通常与 `downloadURLWithAIWatermark` 相同。 +3. **`videoURL`**(网页默认播放流): + - 包含品牌大标与 AI 生成双重水印,作为回退备用。 + +### 2.3 JSON-LD (Schema.org) 兜底 +如果页面流式节点发生重构,解析器会自动回退到页面自带的 `", + html_content, + re.DOTALL, + ) + for m in matches: + raw = m.group(1).strip() + # 兼容嵌套在 next_s push 中的场景 + if "children" in raw: + c_match = re.search(r"\"children\":\s*(\".*?\")\s*\}\]\)", raw) + if c_match: + try: + raw = json.loads(c_match.group(1)) + except Exception: + pass + try: + data = json.loads(raw) + graph = data.get("@graph", [data]) if isinstance(data, dict) else [data] + for item in graph: + if isinstance(item, dict) and item.get("@type") == "VideoObject": + return item + except Exception: + continue + return None + + def _apply_ld_video(self, ld_video): + self.title = ld_video.get("description") or ld_video.get("name") or "海螺AI 作品" + self.video_url = ld_video.get("contentUrl") + if self.video_url: + self.video_list = [self.video_url] + self.cover_url = ld_video.get("thumbnailUrl") + author_data = ld_video.get("author") + if isinstance(author_data, dict): + self.author = { + "nickname": (author_data.get("name") or "").strip(), + "author_id": "", + "avatar": "", + "description": "", + } + + def get_real_video_url(self): + return self.video_url + + def get_title_content(self): + return self.title or "海螺AI 作品" + + def get_cover_photo_url(self): + return self.cover_url + + def get_author_info(self): + return self.author + + def get_image_list(self): + return self.image_list + + def get_video_list(self): + return self.video_list diff --git a/templates/landing.html b/templates/landing.html index ac608b5..a40fd6b 100644 --- a/templates/landing.html +++ b/templates/landing.html @@ -466,7 +466,7 @@

+
更多平台
-
皮皮虾/好看/可灵等
+
皮皮虾/可灵/海螺等
diff --git a/tests/live_parser_samples.json b/tests/live_parser_samples.json index 5e67c60..f643ded 100644 --- a/tests/live_parser_samples.json +++ b/tests/live_parser_samples.json @@ -1,7 +1,7 @@ { "schema_version": 2, - "description": "33 平台多形态全景自动化回归测试用例库 (涵盖短链/长链/图集/单视频/AI生成等)", - "total_cases": 272, + "description": "34 平台多形态全景自动化回归测试用例库 (涵盖短链/长链/图集/单视频/AI生成等)", + "total_cases": 274, "cases": [ { "platform": "AcFun", @@ -107,6 +107,36 @@ "note": "2026-08-28 已验证", "pattern": "基础标准样例" }, + { + "platform": "海螺AI", + "url": "https://hailuoai.com/share/ai-video/enbrdg0JlAen?source-scene=shared", + "media_types": [ + "video" + ], + "expected_fields": [ + "video", + "cover", + "title", + "author" + ], + "note": "2026-08 真实反馈验证: 海螺AI 图生视频分享", + "pattern": "基础标准样例" + }, + { + "platform": "海螺AI", + "url": "https://hailuoai.com/share/ai-video/RkDkwWYZQRby?source-scene=shared&source-media=shared_wechat", + "media_types": [ + "video" + ], + "expected_fields": [ + "video", + "cover", + "title", + "author" + ], + "note": "2026-08 真实反馈验证: 海螺AI 文生视频分享", + "pattern": "文生视频样例" + }, { "platform": "哔哩哔哩", "url": "https://www.bilibili.com/video/BV1asTR6FEWu", diff --git a/tests/manual_verify_parsers.py b/tests/manual_verify_parsers.py index 0c14255..7dce1bf 100644 --- a/tests/manual_verify_parsers.py +++ b/tests/manual_verify_parsers.py @@ -71,7 +71,7 @@ def verify_case(case): def main(): - parser = argparse.ArgumentParser(description="一键多形态验证 33 平台真实分享链接") + parser = argparse.ArgumentParser(description="一键多形态验证 34 平台真实分享链接") parser.add_argument("--platform", action="append", help="仅验证指定平台;可重复传入") parser.add_argument("--list-missing", action="store_true", help="仅列出缺少链接的平台") parser.add_argument("--limit", type=int, default=0, help="限制每个平台运行的最大用例数 (默认全部)") @@ -100,7 +100,7 @@ def main(): limited_cases.append(case) cases = limited_cases - print(f"🧪 开始执行 33 平台自动化多形态链接验证 (共 {len(cases)} 条用例)...\n") + print(f"🧪 开始执行 34 平台自动化多形态链接验证 (共 {len(cases)} 条用例)...\n") results = [verify_case(case) for case in cases] for status, platform, pattern, detail, url in results: status_tag = f"✅ {status}" if status == "PASSED" else (f"❌ {status}" if status == "FAILED" else f"⚪ {status}") diff --git a/tests/test_hailuo_parser.py b/tests/test_hailuo_parser.py new file mode 100644 index 0000000..0c61117 --- /dev/null +++ b/tests/test_hailuo_parser.py @@ -0,0 +1,128 @@ +import json +import unittest +from unittest.mock import Mock, patch + +from src.parsers.hailuo_parser import HailuoParser +from utils.web_fetcher import UrlParser + + +class HailuoParserTest(unittest.TestCase): + def test_parses_nextjs_flight_ssr_payload(self): + video_asset = { + "id": "546156739889123328", + "desc": "第一秒的时候轻微点头,第二秒连续摇头", + "coverURL": "https://cdn.hailuoai.com/cover.jpg", + "videoURL": "https://cdn.hailuoai.com/preview.mp4", + "downloadURL": "https://cdn.hailuoai.com/download.mp4", + "userIDStr": "546139659380772869", + "originFiles": [ + { + "id": "1", + "url": "https://cdn.hailuoai.com/ref1.jpg", + "coverUrl": "https://cdn.hailuoai.com/ref1_thumb.jpg", + }, + { + "id": "2", + "url": "https://cdn.hailuoai.com/ref2.jpg", + }, + ], + "videoURLs": { + "downloadURLWithAIWatermark": "https://cdn.hailuoai.com/clean_ai.mp4", + "downloadURLWithHailuoWatermark": "https://cdn.hailuoai.com/brand_hailuo.mp4", + }, + } + + # 构建类似于 Next.js Flight SSR 的 push 片段 + flight_tree = ["$", "div", None, {"video": {"videoAsset": video_asset}}] + flight_chunk = "25:" + json.dumps(flight_tree, ensure_ascii=False) + escaped_chunk = json.dumps(flight_chunk)[1:-1] # 去掉前后引号,作为 js 字符串 + + html_text = ( + '' + f'' + '' + ) + + response = Mock(text=html_text) + response.raise_for_status.return_value = None + + with patch("requests.Session.get", return_value=response) as get: + parser = HailuoParser("https://hailuoai.com/share/ai-video/enbrdg0JlAen?source-scene=shared") + + self.assertEqual(parser.get_title_content(), "第一秒的时候轻微点头,第二秒连续摇头") + # 优先选用去品牌水印的 downloadURLWithAIWatermark + self.assertEqual(parser.get_real_video_url(), "https://cdn.hailuoai.com/clean_ai.mp4") + self.assertEqual(parser.get_cover_photo_url(), "https://cdn.hailuoai.com/cover.jpg") + self.assertEqual(parser.get_author_info()["author_id"], "546139659380772869") + self.assertEqual( + parser.get_image_list(), + ["https://cdn.hailuoai.com/ref1.jpg", "https://cdn.hailuoai.com/ref2.jpg"], + ) + + def test_parses_json_ld_fallback(self): + ld_json = { + "@context": "https://schema.org", + "@graph": [ + { + "@type": "VideoObject", + "name": "海螺视频测试标题", + "description": "这是详细描述", + "contentUrl": "https://cdn.hailuoai.com/ld_video.mp4", + "thumbnailUrl": "https://cdn.hailuoai.com/ld_thumb.jpg", + "author": {"@type": "Person", "name": "创作者小明"}, + } + ], + } + + html_text = ( + '' + f'' + '' + ) + + response = Mock(text=html_text) + response.raise_for_status.return_value = None + + with patch("requests.Session.get", return_value=response): + parser = HailuoParser("https://hailuoai.com/share/ai-video/test123") + + self.assertEqual(parser.get_title_content(), "这是详细描述") + self.assertEqual(parser.get_real_video_url(), "https://cdn.hailuoai.com/ld_video.mp4") + self.assertEqual(parser.get_cover_photo_url(), "https://cdn.hailuoai.com/ld_thumb.jpg") + self.assertEqual(parser.get_author_info()["nickname"], "创作者小明") + + def test_handles_empty_or_failed_response(self): + response = Mock(text="") + response.raise_for_status.return_value = None + + with patch("requests.Session.get", return_value=response): + parser = HailuoParser("https://hailuoai.com/share/ai-video/invalid") + + self.assertIsNone(parser.get_real_video_url()) + self.assertEqual(parser.get_title_content(), "海螺AI 作品") + self.assertIsNone(parser.get_cover_photo_url()) + self.assertIsNone(parser.get_author_info()) + self.assertEqual(parser.get_image_list(), []) + + +class HailuoUrlParserTest(unittest.TestCase): + def test_detects_hailuo_domains(self): + cases = [ + ("https://hailuoai.com/share/ai-video/enbrdg0JlAen?source-scene=shared", "海螺AI"), + ("https://www.hailuoai.com/share/ai-video/enbrdg0JlAen", "海螺AI"), + ("https://hailuoai.video/share/ai-video/RkDkwWYZQRby", "海螺AI"), + ("https://www.hailuoai.video/share/ai-video/RkDkwWYZQRby", "海螺AI"), + ] + for url, expected_platform in cases: + with self.subTest(url=url): + self.assertEqual(UrlParser.get_platform(url), expected_platform) + + def test_extracts_clean_address(self): + url = "https://hailuoai.com/share/ai-video/enbrdg0JlAen?source-scene=shared&source-media=shared_wechat" + clean = UrlParser.extract_video_address(url) + self.assertEqual(clean, "https://hailuoai.com/share/ai-video/enbrdg0JlAen") + + def test_extracts_video_id(self): + url = "https://hailuoai.com/share/ai-video/enbrdg0JlAen?source-scene=shared" + video_id = UrlParser.get_video_id(url) + self.assertEqual(video_id, "enbrdg0JlAen") diff --git a/tests/test_web_fetcher.py b/tests/test_web_fetcher.py index 2af6d2f..cfc0ae1 100644 --- a/tests/test_web_fetcher.py +++ b/tests/test_web_fetcher.py @@ -112,6 +112,16 @@ class UrlParserTest(unittest.TestCase): "可灵AI", ) + def test_recognizes_hailuo_domains(self): + self.assertEqual( + UrlParser.get_platform("https://hailuoai.com/share/ai-video/enbrdg0JlAen?source-scene=shared"), + "海螺AI", + ) + self.assertEqual( + UrlParser.get_platform("https://hailuoai.video/share/ai-video/RkDkwWYZQRby"), + "海螺AI", + ) + def test_recognizes_soul_share_domain(self): self.assertEqual(UrlParser.get_platform("https://w13.soulsmile.cn/activity/"), "Soul") diff --git a/utils/web_fetcher.py b/utils/web_fetcher.py index 6eb3cb1..c63f1a3 100755 --- a/utils/web_fetcher.py +++ b/utils/web_fetcher.py @@ -23,7 +23,7 @@ class WebFetcher: # 微博博文可通过 API 直接根据 ID 解析,直接访问网页端常触发访客系统重定向。 domain = UrlParser.get_domain(url) if domain not in {"t.cn", "b23.tv", "xhslink.cn", "xhslink.com", "hy.fan"}: - if UrlParser.get_platform(url) in {"知乎", "绿洲", "新片场", "夸克AI", "通义千问", "微博", "小云雀AI", "哔哩哔哩", "快影", "微信公众号"}: + if UrlParser.get_platform(url) in {"知乎", "绿洲", "新片场", "夸克AI", "通义千问", "微博", "小云雀AI", "哔哩哔哩", "快影", "微信公众号", "海螺AI"}: return UrlParser.extract_video_address(url) try: current_url = url