diff --git a/README.md b/README.md index b7d92cc..5ecf83f 100644 --- a/README.md +++ b/README.md @@ -3,7 +3,7 @@ **基于 Python 的多平台媒体原生本地解析系统** -[](LICENSE) [](https://www.python.org/) [](https://flask.palletsprojects.com/) [](#-部署指南) [](#-支持的平台矩阵) +[](LICENSE) [](https://www.python.org/) [](https://flask.palletsprojects.com/) [](#-部署指南) [](#-支持的平台矩阵)
解析逻辑 • @@ -54,6 +54,7 @@ | **即梦AI** | ✓ | ✓ | ✓ | ✓ | | | | | | **小云雀AI** | ✓ | ✓ | ✓ | ✓ | ✓ | | | | | **可灵AI** | ✓ | ✓ | ✓ | ✓ | | | | | +| **海螺AI** | ✓ | ✓ | ✓ | ✓ | ✓ | | | | | **夸克AI** | ✓ | ✓ | ✓ | ✓ | ✓ | | | | | **通义千问** | ✓ | ✓ | ✓ | ✓ | ✓ | | | | | **闲鱼** | | ✓ | ✓ | | ✓ | | | | @@ -141,17 +142,17 @@ media-parser/ │ ├── architecture.md # 系统分层架构与生命周期设计 │ ├── reverse-guide.md # 通用逆向方法论 (抓包/SSR/JS签名提取) │ ├── testing.md # 完整测试规范与回归手册 -│ └── parsers/ # 33 个平台的独立逆向分析文档 +│ └── parsers/ # 34 个平台的独立逆向分析文档 ├── src/ # 核心业务逻辑 │ ├── api/ # RESTful API 路由 (/api/parse, /api/health) │ ├── web/ # Demo 体验页与交互蓝图 -│ ├── parsers/ # 33 个平台解析器实现 (核心解析逻辑) +│ ├── parsers/ # 34 个平台解析器实现 (核心解析逻辑) │ └── parser_factory.py # 工厂分发器 (解析器动态发现与自动注册) ├── utils/ # 底层工具库与逆向支持 │ ├── signer/ # JS 签名沙箱引擎 (a_bogus, x_bogus 等算法执行) │ └── web_fetcher.py # 智能 URL 识别、重定向追踪与请求封装 ├── tests/ # 完备的双层测试体系 -│ ├── live_parser_samples.json # 33 平台真实多形态在线样本库 +│ ├── live_parser_samples.json # 34 平台真实多形态在线样本库 │ ├── manual_verify_parsers.py # 命令行交互式冒烟与健康检查工具 │ └── test_*_parser.py # 各平台 Mock 自动化单元测试 ├── static/ & templates/ # Web 演示页面前端静态资源 @@ -165,7 +166,7 @@ media-parser/ * 🏗️ **[系统架构与生命周期设计](docs/architecture.md)**:分层设计、302 追踪与 `ParserFactory` 动态发现机制。 * 🔍 **[通用逆向方法论](docs/reverse-guide.md)**:SSR 数据提取、H5 接口伪装、JS 签名沙箱及抓包 SOP。 * 🧪 **[测试体系与回归验证](docs/testing.md)**:Pytest 单元测试、Mock 与线上真实样例回归。 -* 📚 **[平台逆向指南索引](docs/index.md)**:包含抖音、快手、小红书、B站等全部 33 个平台的独立技术文档。 +* 📚 **[平台逆向指南索引](docs/index.md)**:包含抖音、快手、小红书、B站等全部 34 个平台的独立技术文档。 --- @@ -174,7 +175,7 @@ media-parser/ 本项目拥有完备的测试体系,包括基础单元测试与基于真实样本库的在线回归测试: ### 1. 真实样本交互式验证 -样例测试库见 [`tests/live_parser_samples.json`](tests/live_parser_samples.json),用于实时验证 33 个平台解析器的有效性与多形态覆盖: +样例测试库见 [`tests/live_parser_samples.json`](tests/live_parser_samples.json),用于实时验证 34 个平台解析器的有效性与多形态覆盖: ```bash # 快速冒烟测试(每个平台测 1 条最具代表性的链接,极速完成健康检查) diff --git a/configs/business_config.json b/configs/business_config.json index bd9827f..c9a5347 100755 --- a/configs/business_config.json +++ b/configs/business_config.json @@ -57,6 +57,10 @@ "v.jimeng.aiseet.atry.com": "即梦AI", "xiaoyunque.jianying.com": "小云雀AI", "klingai-share.kuaishou.com": "可灵AI", + "hailuoai.com": "海螺AI", + "www.hailuoai.com": "海螺AI", + "hailuoai.video": "海螺AI", + "www.hailuoai.video": "海螺AI", "w13.soulsmile.cn": "Soul", "qishui.douyin.com": "汽水音乐", "music.douyin.com": "汽水音乐", diff --git a/docs/index.md b/docs/index.md index 7130e37..8a61e4d 100644 --- a/docs/index.md +++ b/docs/index.md @@ -15,7 +15,7 @@ * **短视频与轻社区**:[抖音](parsers/douyin.md) | [快手](parsers/kuaishou.md) | [皮皮虾](parsers/pipixia.md) | [皮皮搞笑](parsers/pipigaoxiao.md) | [最右](parsers/zuiyou.md) | [美拍](parsers/meipai.md) | [微视](parsers/weishi.md) | [绿洲](parsers/lvzhou.md) * **图文与综合社区**:[小红书](parsers/xiaohongshu.md) | [微信公众号](parsers/wechat-mp.md) | [微博](parsers/weibo.md) | [知乎](parsers/zhihu.md) | [闲鱼](parsers/xianyu.md) | [Soul](parsers/soul.md) * **长视频与弹幕/创作**:[哔哩哔哩](parsers/bilibili.md) | [AcFun](parsers/acfun.md) | [新片场](parsers/xinpianchang.md) | [好看视频](parsers/haokan.md) | [西瓜视频](parsers/xigua.md) | [剪映](parsers/jianying.md) | [快影](parsers/kwaiying.md) - * **AI 生成与大模型**:[豆包 AI](parsers/doubao.md) | [即梦 AI](parsers/jimeng.md) | [可灵 AI](parsers/kling.md) | [通义千问](parsers/qianwen.md) | [夸克 AI](parsers/quark-ai.md) | [小云雀 AI](parsers/xiaoyunque.md) + * **AI 生成与大模型**:[豆包 AI](parsers/doubao.md) | [即梦 AI](parsers/jimeng.md) | [可灵 AI](parsers/kling.md) | [海螺 AI](parsers/hailuo.md) | [通义千问](parsers/qianwen.md) | [夸克 AI](parsers/quark-ai.md) | [小云雀 AI](parsers/xiaoyunque.md) * **音频与垂直频道**:[汽水音乐](parsers/qsmusic.md) | [全民K歌](parsers/quanminkge.md) | [虎牙](parsers/huya.md) | [梨视频](parsers/lishipin.md) | [微信视频号](parsers/wechat-channels.md) | [腾讯频道](parsers/tencent-channel.md) --- @@ -36,32 +36,33 @@ | 5 | **豆包 AI** | AI 视频生成直链 | ✅ 支持 | 🔐 需 `DOUBAO_COOKIE` | Web Session 维持 + 任务轮询 | [查看指南](parsers/doubao.md) | | 6 | **即梦 AI** | AI 视频生成直链 | ✅ 支持 | 🟢 免配置 | 移动分享端接口解析 | [查看指南](parsers/jimeng.md) | | 7 | **可灵 AI** | AI 视频生成直链 | ✅ 支持 | 🟢 免配置 | 快手可灵 H5 分享接口 | [查看指南](parsers/kling.md) | -| 8 | **通义千问** | AI 图文 / 图像生成 | ✅ 支持 | ⚠️ 需 `YUANBAO_COOKIE` | AI Studio 移动分享端抓取 | [查看指南](parsers/qianwen.md) | -| 9 | **夸克 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 夸克 H5 分享路由解析 | [查看指南](parsers/quark-ai.md) | -| 10 | **小云雀 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 剪映小云雀分享端 | [查看指南](parsers/xiaoyunque.md) | -| 11 | **微博** | 视频 / 微博正文 / 多图 | ✅ 支持 | 🟢 免配置 | 移动端 H5 接口 + Base62 解码 | [查看指南](parsers/weibo.md) | -| 12 | **知乎** | 视频 (Video Pin) / 想法 / 问答 | ✅ 支持 | 🟢 免配置 | Web API 多路由正则提取 | [查看指南](parsers/zhihu.md) | -| 13 | **皮皮虾** | 视频 / 图文 | ✅ 支持 | 🟢 免配置 | H5 接口数据解析 | [查看指南](parsers/pipixia.md) | -| 14 | **皮皮搞笑** | 视频 | ✅ 支持 | 🟢 免配置 | H5 页面 JSON 提取 | [查看指南](parsers/pipigaoxiao.md) | -| 15 | **最右** | 视频 / 图集 | ✅ 支持 | 🟢 免配置 | H5 接口键值映射提取 | [查看指南](parsers/zuiyou.md) | -| 16 | **AcFun** | 视频 (m3u8/MP4) | ✅ 支持 | 🟢 免配置 | KSPlayer 播放器参数还原 | [查看指南](parsers/acfun.md) | -| 17 | **汽水音乐** | UGC 视频 / 背景原声 | ✅ 支持 | 🟢 免配置 | 字节系分享 API | [查看指南](parsers/qsmusic.md) | -| 18 | **全民K歌** | 视频 / 伴奏音频 | ✅ 支持 | 🟢 免配置 | H5 播放页正则提取 | [查看指南](parsers/quanminkge.md) | -| 19 | **虎牙** | 视频 / 录播 | ✅ 支持 | 🟢 免配置 | 移动端短链解析 | [查看指南](parsers/huya.md) | -| 20 | **微信视频号** | 视频 | ✅ 支持 | 🟢 免配置 | 视频号短链解析 | [查看指南](parsers/wechat-channels.md) | -| 21 | **腾讯视频/频道** | 视频 | ✅ 支持 | 🟢 免配置 | 企鹅频道分享解析 | [查看指南](parsers/tencent-channel.md) | -| 22 | **西瓜视频** | 视频 | ✅ 支持 | 🟢 免配置 | 字节系引擎继承解析 | [查看指南](parsers/xigua.md) | -| 23 | **新片场** | 高清视频 | ✅ 支持 | 🟢 免配置 | Next.js SSR 播放页提取 | [查看指南](parsers/xinpianchang.md) | -| 24 | **好看视频** | 百度短视频 | ✅ 支持 | 🟢 免配置 | 百度视频落地页提取 | [查看指南](parsers/haokan.md) | -| 25 | **美拍** | 视频 | ✅ 支持 | 🟢 免配置 | 网页 MP4 流还原 | [查看指南](parsers/meipai.md) | -| 26 | **微视** | 腾讯微视视频 | ✅ 支持 | 🟢 免配置 | 微视开放接口 | [查看指南](parsers/weishi.md) | -| 27 | **绿洲** | 新浪绿洲图文 | ✅ 支持 | 🟢 免配置 | 微博绿洲 H5 提取 | [查看指南](parsers/lvzhou.md) | -| 28 | **闲鱼** | 闲鱼图文贴 | ✅ 支持 | 🟢 免配置 | 淘系分享页解析 | [查看指南](parsers/xianyu.md) | -| 29 | **Soul** | 视频 / 瞬间 | ✅ 支持 | 🟢 免配置 | Web 话题页解析 | [查看指南](parsers/soul.md) | -| 30 | **剪映 / CapCut** | 模板视频 / Web协作视频 | ✅ 支持 | 🟢 免配置 | 字节剪映 & CapCut 协作 API | [查看指南](parsers/jianying.md) | -| 31 | **梨视频** | 资讯短视频 | ✅ 支持 | 🟢 免配置 | 动态防盗链时间戳解密 | [查看指南](parsers/lishipin.md) | -| 32 | **快影** | 模板视频 / 原声音乐 | ✅ 支持 | 🟢 免配置 | 快影 OpenAPI + 动态签名 | [查看指南](parsers/kwaiying.md) | -| 33 | **微信公众号** | 视频 / 文章插图图集 / 音频 | ✅ 支持 | 🟢 免配置 | SSR 正文解析 + 1080P 视频流提取与原画升级 | [查看指南](parsers/wechat-mp.md) | +| 8 | **海螺 AI** | AI 视频直链 / Prompt / 参考帧 | ✅ 支持 | 🟢 免配置 | Next.js Flight SSR 流式渲染解析 | [查看指南](parsers/hailuo.md) | +| 9 | **通义千问** | AI 图文 / 图像生成 | ✅ 支持 | ⚠️ 需 `YUANBAO_COOKIE` | AI Studio 移动分享端抓取 | [查看指南](parsers/qianwen.md) | +| 10 | **夸克 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 夸克 H5 分享路由解析 | [查看指南](parsers/quark-ai.md) | +| 11 | **小云雀 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 剪映小云雀分享端 | [查看指南](parsers/xiaoyunque.md) | +| 12 | **微博** | 视频 / 微博正文 / 多图 | ✅ 支持 | 🟢 免配置 | 移动端 H5 接口 + Base62 解码 | [查看指南](parsers/weibo.md) | +| 13 | **知乎** | 视频 (Video Pin) / 想法 / 问答 | ✅ 支持 | 🟢 免配置 | Web API 多路由正则提取 | [查看指南](parsers/zhihu.md) | +| 14 | **皮皮虾** | 视频 / 图文 | ✅ 支持 | 🟢 免配置 | H5 接口数据解析 | [查看指南](parsers/pipixia.md) | +| 15 | **皮皮搞笑** | 视频 | ✅ 支持 | 🟢 免配置 | H5 页面 JSON 提取 | [查看指南](parsers/pipigaoxiao.md) | +| 16 | **最右** | 视频 / 图集 | ✅ 支持 | 🟢 免配置 | H5 接口键值映射提取 | [查看指南](parsers/zuiyou.md) | +| 17 | **AcFun** | 视频 (m3u8/MP4) | ✅ 支持 | 🟢 免配置 | KSPlayer 播放器参数还原 | [查看指南](parsers/acfun.md) | +| 18 | **汽水音乐** | UGC 视频 / 背景原声 | ✅ 支持 | 🟢 免配置 | 字节系分享 API | [查看指南](parsers/qsmusic.md) | +| 19 | **全民K歌** | 视频 / 伴奏音频 | ✅ 支持 | 🟢 免配置 | H5 播放页正则提取 | [查看指南](parsers/quanminkge.md) | +| 20 | **虎牙** | 视频 / 录播 | ✅ 支持 | 🟢 免配置 | 移动端短链解析 | [查看指南](parsers/huya.md) | +| 21 | **微信视频号** | 视频 | ✅ 支持 | 🟢 免配置 | 视频号短链解析 | [查看指南](parsers/wechat-channels.md) | +| 22 | **腾讯视频/频道** | 视频 | ✅ 支持 | 🟢 免配置 | 企鹅频道分享解析 | [查看指南](parsers/tencent-channel.md) | +| 23 | **西瓜视频** | 视频 | ✅ 支持 | 🟢 免配置 | 字节系引擎继承解析 | [查看指南](parsers/xigua.md) | +| 24 | **新片场** | 高清视频 | ✅ 支持 | 🟢 免配置 | Next.js SSR 播放页提取 | [查看指南](parsers/xinpianchang.md) | +| 25 | **好看视频** | 百度短视频 | ✅ 支持 | 🟢 免配置 | 百度视频落地页提取 | [查看指南](parsers/haokan.md) | +| 26 | **美拍** | 视频 | ✅ 支持 | 🟢 免配置 | 网页 MP4 流还原 | [查看指南](parsers/meipai.md) | +| 27 | **微视** | 腾讯微视视频 | ✅ 支持 | 🟢 免配置 | 微视开放接口 | [查看指南](parsers/weishi.md) | +| 28 | **绿洲** | 新浪绿洲图文 | ✅ 支持 | 🟢 免配置 | 微博绿洲 H5 提取 | [查看指南](parsers/lvzhou.md) | +| 29 | **闲鱼** | 闲鱼图文贴 | ✅ 支持 | 🟢 免配置 | 淘系分享页解析 | [查看指南](parsers/xianyu.md) | +| 30 | **Soul** | 视频 / 瞬间 | ✅ 支持 | 🟢 免配置 | Web 话题页解析 | [查看指南](parsers/soul.md) | +| 31 | **剪映 / CapCut** | 模板视频 / Web协作视频 | ✅ 支持 | 🟢 免配置 | 字节剪映 & CapCut 协作 API | [查看指南](parsers/jianying.md) | +| 32 | **梨视频** | 资讯短视频 | ✅ 支持 | 🟢 免配置 | 动态防盗链时间戳解密 | [查看指南](parsers/lishipin.md) | +| 33 | **快影** | 模板视频 / 原声音乐 | ✅ 支持 | 🟢 免配置 | 快影 OpenAPI + 动态签名 | [查看指南](parsers/kwaiying.md) | +| 34 | **微信公众号** | 视频 / 文章插图图集 / 音频 | ✅ 支持 | 🟢 免配置 | SSR 正文解析 + 1080P 视频流提取与原画升级 | [查看指南](parsers/wechat-mp.md) | --- diff --git a/docs/parsers/hailuo.md b/docs/parsers/hailuo.md new file mode 100644 index 0000000..c71ae50 --- /dev/null +++ b/docs/parsers/hailuo.md @@ -0,0 +1,56 @@ +# 海螺AI (Hailuo AI / MiniMax) 逆向解析指南 + +本篇详细记录 MiniMax 旗下大模型 **海螺AI (Hailuo AI)** 视频与作品分享的接口抓取机制与参数解析。 + +--- + +## 1. 平台特征与支持能力 + +* **平台标识**:`海螺AI` +* **支持媒体类型**: + * AI 生成高清视频 (MP4,去「海螺AI × MINIMAX」品牌图文大标) + * 视频生成封面图与 Prompt 提示词描述 + * 图生视频的原始参考帧图片列表 (`image_list`) + * 创作者 ID 与作品 ID +* **常见链接形态**: + * 国内主站:`https://hailuoai.com/share/ai-video/{share_id}?source-scene=shared` + * 国际域名:`https://hailuoai.video/share/ai-video/{share_id}` +* **Cookie 依赖**:无需 Cookie,公开页面流式直出。 + +--- + +## 2. 核心逆向流程 + +### 2.1 Next.js Flight SSR 流式渲染解析 +海螺AI 分享落地页使用 Next.js App Router 进行流式服务端渲染(Streaming SSR)。在服务端返回的 HTML 中,内嵌了多个 `self.__next_f.push([1, "..."])` 代码块。 + +通过解码 Flight 格式数据流并递归遍历 AST 树节点,可直接定位到 `videoAsset` 节点: +* `id`:视频作品内部数字 ID。 +* `desc` / `title`:生成视频时用户输入的 Prompt 提示词。 +* `coverURL` / `promptImgURL`:视频高清封面与提示词关联图片。 +* `userIDStr`:创作者用户编号。 +* `originFiles`:生成视频所引用的原始参考图(如首尾帧图片)。 + +### 2.2 视频直链与去水印策略 +在 `videoAsset` 中,服务端预渲染并提供了多个版本的下载流: +1. **`videoURLs.downloadURLWithAIWatermark`**(首选推荐): + - **完全去除了「海螺AI × MINIMAX」品牌图文大标**; + - 仅保留符合法规监管的极浅半透明「AI生成」角标,为公开接口下的最佳纯净直链。 +2. **`downloadURL`**: + - 官方标准下载直链,通常与 `downloadURLWithAIWatermark` 相同。 +3. **`videoURL`**(网页默认播放流): + - 包含品牌大标与 AI 生成双重水印,作为回退备用。 + +### 2.3 JSON-LD (Schema.org) 兜底 +如果页面流式节点发生重构,解析器会自动回退到页面自带的 `", + html_content, + re.DOTALL, + ) + for m in matches: + raw = m.group(1).strip() + # 兼容嵌套在 next_s push 中的场景 + if "children" in raw: + c_match = re.search(r"\"children\":\s*(\".*?\")\s*\}\]\)", raw) + if c_match: + try: + raw = json.loads(c_match.group(1)) + except Exception: + pass + try: + data = json.loads(raw) + graph = data.get("@graph", [data]) if isinstance(data, dict) else [data] + for item in graph: + if isinstance(item, dict) and item.get("@type") == "VideoObject": + return item + except Exception: + continue + return None + + def _apply_ld_video(self, ld_video): + self.title = ld_video.get("description") or ld_video.get("name") or "海螺AI 作品" + self.video_url = ld_video.get("contentUrl") + if self.video_url: + self.video_list = [self.video_url] + self.cover_url = ld_video.get("thumbnailUrl") + author_data = ld_video.get("author") + if isinstance(author_data, dict): + self.author = { + "nickname": (author_data.get("name") or "").strip(), + "author_id": "", + "avatar": "", + "description": "", + } + + def get_real_video_url(self): + return self.video_url + + def get_title_content(self): + return self.title or "海螺AI 作品" + + def get_cover_photo_url(self): + return self.cover_url + + def get_author_info(self): + return self.author + + def get_image_list(self): + return self.image_list + + def get_video_list(self): + return self.video_list diff --git a/templates/landing.html b/templates/landing.html index ac608b5..a40fd6b 100644 --- a/templates/landing.html +++ b/templates/landing.html @@ -466,7 +466,7 @@