添加松果时刻平台解析支持

This commit is contained in:
ucmao
2026-09-01 22:29:28 +08:00
parent 00a8b58511
commit 55ba878f1f
10 changed files with 228 additions and 13 deletions
+7 -6
View File
@@ -3,7 +3,7 @@
**基于 Python 的多平台媒体原生本地解析系统**
[![License](https://img.shields.io/badge/license-MIT-green.svg)](LICENSE) [![Python Version](https://img.shields.io/badge/python-3.10+-blue.svg)](https://www.python.org/) [![Flask](https://img.shields.io/badge/Framework-Flask-000000?logo=flask&logoColor=white)](https://flask.palletsprojects.com/) [![Docker](https://img.shields.io/badge/Docker-Ready-2496ED?logo=docker&logoColor=white)](#-部署指南) [![Support](https://img.shields.io/badge/support-44%20Platforms-brightgreen.svg)](#-支持的平台矩阵)
[![License](https://img.shields.io/badge/license-MIT-green.svg)](LICENSE) [![Python Version](https://img.shields.io/badge/python-3.10+-blue.svg)](https://www.python.org/) [![Flask](https://img.shields.io/badge/Framework-Flask-000000?logo=flask&logoColor=white)](https://flask.palletsprojects.com/) [![Docker](https://img.shields.io/badge/Docker-Ready-2496ED?logo=docker&logoColor=white)](#-部署指南) [![Support](https://img.shields.io/badge/support-45%20Platforms-brightgreen.svg)](#-支持的平台矩阵)
<p align="center">
<a href="#-核心解析逻辑">解析逻辑</a> •
@@ -66,6 +66,7 @@
| **网易云音乐** | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| **酷狗音乐** | ✓ | ✓ | ✓ | ✓ | | ✓ | | |
| **配音秀** | ✓ | ✓ | ✓ | ✓ | | | | |
| **松果时刻** | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | | |
| **腾讯频道** | ✓ | ✓ | ✓ | ✓ | | | | |
| **剪映 / CapCut** | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | | |
| **快影** | ✓ | ✓ | ✓ | ✓ | | ✓ | | |
@@ -156,17 +157,17 @@ media-parser/
│ ├── architecture.md # 系统分层架构与生命周期设计
│ ├── reverse-guide.md # 通用逆向方法论 (抓包/SSR/JS签名提取)
│ ├── testing.md # 完整测试规范与回归手册
│ └── parsers/ # 41 份逆向分析文档,覆盖 44 个平台
│ └── parsers/ # 42 份逆向分析文档,覆盖 45 个平台
├── src/ # 核心业务逻辑
│ ├── api/ # RESTful API 路由 (/api/parse, /api/health)
│ ├── web/ # Demo 体验页与交互蓝图
│ ├── parsers/ # 41 个解析器模块,支持 44 个平台 (核心解析逻辑)
│ ├── parsers/ # 42 个解析器模块,支持 45 个平台 (核心解析逻辑)
│ └── parser_factory.py # 工厂分发器 (解析器动态发现与自动注册)
├── utils/ # 底层工具库与逆向支持
│ ├── signer/ # JS 签名沙箱引擎 (a_bogus, x_bogus 等算法执行)
│ └── web_fetcher.py # 智能 URL 识别、重定向追踪与请求封装
├── tests/ # 完备的双层测试体系
│ ├── live_parser_samples.json # 44 平台真实多形态在线样本库
│ ├── live_parser_samples.json # 45 平台真实多形态在线样本库
│ ├── manual_verify_parsers.py # 命令行交互式冒烟与健康检查工具
│ └── test_*_parser.py # 各平台 Mock 自动化单元测试
├── static/ & templates/ # Web 演示页面前端静态资源
@@ -180,7 +181,7 @@ media-parser/
* 🏗️ **[系统架构与生命周期设计](docs/architecture.md)**:分层设计、302 追踪与 `ParserFactory` 动态发现机制。
* 🔍 **[通用逆向方法论](docs/reverse-guide.md)**:SSR 数据提取、H5 接口伪装、JS 签名沙箱及抓包 SOP。
* 🧪 **[测试体系与回归验证](docs/testing.md)**:Pytest 单元测试、Mock 与线上真实样例回归。
* 📚 **[平台逆向指南索引](docs/index.md)**:包含抖音、快手、小红书、B站等全部 44 个平台的技术文档。
* 📚 **[平台逆向指南索引](docs/index.md)**:包含抖音、快手、小红书、B站等全部 45 个平台的技术文档。
---
@@ -189,7 +190,7 @@ media-parser/
本项目拥有完备的测试体系,包括基础单元测试与基于真实样本库的在线回归测试:
### 1. 真实样本交互式验证
样例测试库见 [`tests/live_parser_samples.json`](tests/live_parser_samples.json),用于实时验证 44 个平台的解析有效性与多形态覆盖:
样例测试库见 [`tests/live_parser_samples.json`](tests/live_parser_samples.json),用于实时验证 45 个平台的解析有效性与多形态覆盖:
```bash
# 快速冒烟测试(每个平台测 1 条最具代表性的链接,极速完成健康检查)
+2
View File
@@ -99,6 +99,8 @@
"www.kugou.com": "酷狗音乐",
"peiyinxiu.com": "配音秀",
"www.peiyinxiu.com": "配音秀",
"pineconemoment.com": "松果时刻",
"m.pineconemoment.com": "松果时刻",
"pd.qq.com": "腾讯频道",
"lv.ulikecam.com": "剪映",
"www.capcut.cn": "剪映",
+3 -2
View File
@@ -2,7 +2,7 @@
欢迎查阅 **Media Parser** 开发者文档与逆向工程知识库。
本项目是一个高性能、模块化、支持 **44 个主流媒体与 AI 内容平台** 的无水印音视频、图文及 LivePhoto 结构化解析引擎。
本项目是一个高性能、模块化、支持 **45 个主流媒体与 AI 内容平台** 的无水印音视频、图文及 LivePhoto 结构化解析引擎。
---
@@ -15,7 +15,7 @@
* **短视频与轻社区**:[抖音](parsers/douyin.md) | [快手](parsers/kuaishou.md) | [今日头条](parsers/xigua.md) | [皮皮虾](parsers/pipixia.md) | [皮皮搞笑](parsers/pipigaoxiao.md) | [最右](parsers/zuiyou.md) | [美拍](parsers/meipai.md) | [微视](parsers/weishi.md) | [绿洲](parsers/lvzhou.md) | [番茄小说/红果短剧/红果漫剧](parsers/fanqie.md)
* **图文与综合社区**:[小红书](parsers/xiaohongshu.md) | [微信公众号](parsers/wechat-mp.md) | [微博](parsers/weibo.md) | [知乎](parsers/zhihu.md) | [闲鱼](parsers/xianyu.md) | [Soul](parsers/soul.md)
* **长视频与弹幕/创作**:[哔哩哔哩](parsers/bilibili.md) | [AcFun](parsers/acfun.md) | [新片场](parsers/xinpianchang.md) | [好看视频](parsers/haokan.md) | [西瓜视频](parsers/xigua.md) | [剪映](parsers/jianying.md) | [快影](parsers/kwaiying.md)
* **AI 生成与大模型**:[豆包 AI](parsers/doubao.md) | [腾讯元宝](parsers/yuanbao.md) | [即梦 AI](parsers/jimeng.md) | [可灵 AI](parsers/kling.md) | [海螺 AI](parsers/hailuo.md) | [通义千问](parsers/qianwen.md) | [夸克 AI](parsers/quark-ai.md) | [小云雀 AI](parsers/xiaoyunque.md)
* **AI 生成与大模型**:[豆包 AI](parsers/doubao.md) | [腾讯元宝](parsers/yuanbao.md) | [即梦 AI](parsers/jimeng.md) | [可灵 AI](parsers/kling.md) | [海螺 AI](parsers/hailuo.md) | [通义千问](parsers/qianwen.md) | [夸克 AI](parsers/quark-ai.md) | [小云雀 AI](parsers/xiaoyunque.md) | [松果时刻](parsers/pinecone-moment.md)
* **音频与垂直频道**:[汽水音乐](parsers/qsmusic.md) | [QQ音乐](parsers/qqmusic.md) | [网易云音乐](parsers/netease-music.md) | [酷狗音乐](parsers/kugou-music.md) | [配音秀](parsers/peiyinxiu.md) | [全民K歌](parsers/quanminkge.md) | [虎牙](parsers/huya.md) | [梨视频](parsers/lishipin.md) | [微信视频号](parsers/wechat-channels.md) | [腾讯频道](parsers/tencent-channel.md)
---
@@ -73,6 +73,7 @@
| 42 | **网易云音乐** | MV / Mlog / 歌曲 / 动态图集与 LivePhoto | ✅ 支持 | 🟢 公开内容免配置 | SSR / Event 数据 + 公开播放接口 | [查看指南](parsers/netease-music.md) |
| 43 | **酷狗音乐** | MV / 免费歌曲 / 多档 MP4 | ✅ 支持 | 🟢 公开内容免配置 | H5 公开接口签名 + 分享页数据 | [查看指南](parsers/kugou-music.md) |
| 44 | **配音秀** | 配音作品视频 (MP4) | ✅ 支持 | 🟢 公开内容免配置 | 作品页初始化数据提取 | [查看指南](parsers/peiyinxiu.md) |
| 45 | **松果时刻** | AI 故事多页视频 / 图集 / 配音 | ✅ 支持 | 🟢 公开内容免配置 | 公开详情接口 | [查看指南](parsers/pinecone-moment.md) |
---
+14
View File
@@ -0,0 +1,14 @@
# 松果时刻解析指南
## 支持范围
- 分享短链:`https://m.pineconemoment.com/o/{短码}`。
- 展开后的故事页:`/h5/share/story/{作品ID}`。
## 提取字段
可提取标题、作者、封面、每页无水印 MP4、页面原图与作品合成配音音频。
## 实现说明
短链跳转后会携带作品、作者与分享参数。解析器调用分享页自身使用的公开详情接口,并优先返回每页的 `video_url`;同时保留 `images` 和 `dubbing.h5_audio`。
+3 -3
View File
@@ -13,7 +13,7 @@ tests/
├── test_parser_factory.py # 解析器自动注册与工厂路由测试
├── test_web_fetcher.py # 302跳转与URL正则提取测试
├── test_*_parser.py # 各平台专属的单元测试
├── live_parser_samples.json # 真实线上验证样本库 (44+ 平台活跃样例)
├── live_parser_samples.json # 真实线上验证样本库 (45+ 平台活跃样例)
├── test_live_parser_samples.py # 自动化执行样本库回归测试
└── manual_verify_parsers.py # 命令行交互式/全量人工排查脚本
```
@@ -48,10 +48,10 @@ pytest tests/test_live_parser_samples.py -s
```
### 4. 运行交互式真实样本回归验证工具
[tests/manual_verify_parsers.py](file:///Users/leo/Projects/media-parser/tests/manual_verify_parsers.py) 支持对 44+ 个平台的多种形态(短链、长链、视频、图集等)发起真实网络请求与字段契约校验:
[tests/manual_verify_parsers.py](file:///Users/leo/Projects/media-parser/tests/manual_verify_parsers.py) 支持对 45+ 个平台的多种形态(短链、长链、视频、图集等)发起真实网络请求与字段契约校验:
```bash
# 1. 快速冒烟测试 (每个平台只测 1 条最具代表性的链接,极速完成 44 平台基准健康检查)
# 1. 快速冒烟测试 (每个平台只测 1 条最具代表性的链接,极速完成 45 平台基准健康检查)
python3 tests/manual_verify_parsers.py --limit 1
# 2. 验证指定平台的多形态覆盖 (支持重复传入多个 --platform 参数)
+118
View File
@@ -0,0 +1,118 @@
"""松果时刻 AI 作品分享解析器。"""
from urllib.parse import parse_qs, urlparse
from configs.logging_config import get_logger
from src.parser_factory import register_parser
from src.parsers.base_parser import BaseParser
logger = get_logger(__name__)
@register_parser("松果时刻")
class PineconeMomentParser(BaseParser):
"""解析松果时刻公开故事、漫画及合成配音媒体。"""
API_URL = "https://m.pineconemoment.com/share/item/detail"
MOBILE_UA = (
"Mozilla/5.0 (iPhone; CPU iPhone OS 18_0 like Mac OS X) "
"AppleWebKit/605.1.15 (KHTML, like Gecko) Version/18.0 "
"Mobile/15E148 Safari/604.1"
)
def __init__(self, real_url):
super().__init__(real_url)
self.headers = {"User-Agent": self.MOBILE_UA, "Referer": "https://m.pineconemoment.com/"}
self.title = ""
self.cover_url = None
self.author = {"nickname": "", "author_id": "", "avatar": ""}
self.video_list = []
self.image_list = []
self.audio_url = None
self._parse()
@staticmethod
def _params_from_url(url):
parsed = urlparse(url or "")
query = parse_qs(parsed.query)
path_parts = [part for part in parsed.path.split("/") if part]
story_id = (query.get("item_id") or query.get("story_id") or [None])[0]
if not story_id and len(path_parts) >= 2 and path_parts[-2] == "story":
story_id = path_parts[-1]
params = {
"item_type": (query.get("item_type") or query.get("story_type") or ["1"])[0],
"item_id": story_id,
}
for key in ("sharer_id", "author_id", "channel", "version", "style_id", "share_id"):
if value := (query.get(key) or [None])[0]:
params[key] = value
return params
def _parse(self):
params = self._params_from_url(self.real_url)
if not params.get("item_id"):
return
try:
response = self.session.get(self.API_URL, params=params, headers=self.headers, timeout=10)
response.raise_for_status()
payload = response.json()
except Exception as exc:
logger.warning("Failed to fetch Pinecone Moment detail: %s", exc)
return
if not isinstance(payload, dict) or payload.get("code") not in (0, 200):
return
data = payload.get("data") or {}
story = data.get("story") or ((data.get("interactive_comic") or {}))
if not isinstance(story, dict):
return
self.title = story.get("title") or ""
creator = story.get("creator") or story.get("sharer") or {}
self.author = {
"nickname": creator.get("nickname") or "",
"author_id": str(creator.get("user_id") or creator.get("short_id") or ""),
"avatar": creator.get("avatar") or "",
}
images = story.get("images") or []
self.image_list = [
{"url": item["url"]} for item in images
if isinstance(item, dict) and self._valid_url(item.get("url"))
]
self.video_list = self._unique(
item.get("video_url") for item in images if isinstance(item, dict)
)
first = images[0] if images and isinstance(images[0], dict) else {}
self.cover_url = first.get("video_cover_url") or first.get("url") or story.get("cover_uri")
dubbing = story.get("dubbing") or {}
h5_audio = dubbing.get("h5_audio") or {}
self.audio_url = h5_audio.get("audio_url") if self._valid_url(h5_audio.get("audio_url")) else None
@staticmethod
def _valid_url(url):
return isinstance(url, str) and url.startswith(("http://", "https://"))
@classmethod
def _unique(cls, urls):
return list(dict.fromkeys(url for url in urls if cls._valid_url(url)))
def get_real_video_url(self):
return self.video_list[0] if self.video_list else None
def get_video_list(self):
return self.video_list
def get_image_list(self):
return self.image_list
def get_audio_url(self):
return self.audio_url
def get_title_content(self):
return self.title
def get_cover_photo_url(self):
return self.cover_url
def get_author_info(self):
return self.author
+21 -2
View File
@@ -1,7 +1,7 @@
{
"schema_version": 2,
"description": "44 平台多形态全景自动化回归测试用例库 (涵盖短链/长链/图集/单视频/AI生成等)",
"total_cases": 296,
"description": "45 平台多形态全景自动化回归测试用例库 (涵盖短链/长链/图集/单视频/AI生成等)",
"total_cases": 297,
"cases": [
{
"platform": "网易云音乐",
@@ -127,6 +127,25 @@
"note": "2026-09-01 已验证: 配音秀公开作品页,页面初始化数据直接提供 MP4",
"pattern": "公开配音作品"
},
{
"platform": "松果时刻",
"url": "https://m.pineconemoment.com/o/48FVc8IDuz7",
"media_types": [
"video",
"images",
"audio"
],
"expected_fields": [
"video",
"images",
"audio",
"cover",
"title",
"author"
],
"note": "2026-09-01 已验证: 松果时刻故事短链,可提取多页 MP4、原图与合成配音",
"pattern": "AI 故事短链"
},
{
"platform": "腾讯元宝",
"url": "https://yb.tencent.com/s/OXzXwcr2Vk9H",
+48
View File
@@ -0,0 +1,48 @@
import unittest
from unittest.mock import Mock, patch
from src.parsers.pinecone_moment_parser import PineconeMomentParser
class PineconeMomentParserTest(unittest.TestCase):
URL = (
"https://m.pineconemoment.com/h5/share/story/3473384016073334784?"
"sharer_id=3458889976808366080&author_id=3458889976808366080&"
"channel=7&version=1.19.0.47&share_id=3474647521796464640&story_type=1"
)
@patch("src.parsers.base_parser.requests.Session.get")
def test_parses_story_videos_images_and_dubbing_audio(self, get):
response = Mock()
response.raise_for_status.return_value = None
response.json.return_value = {
"code": 0,
"data": {
"story": {
"title": "有一種信念叫越野跑",
"creator": {"user_id": "3458889976808366080", "nickname": "MissK", "avatar": "https://oss.example.com/avatar.png"},
"images": [
{"url": "https://oss.example.com/page1.webp", "video_url": "https://oss.example.com/page1.mp4", "video_cover_url": "https://oss.example.com/cover.jpg"},
{"url": "https://oss.example.com/page2.webp", "video_url": "https://oss.example.com/page2.mp4"},
],
"dubbing": {"h5_audio": {"audio_url": "https://oss.example.com/dubbing.m4a"}},
}
},
}
get.return_value = response
parser = PineconeMomentParser(self.URL)
self.assertEqual(parser.get_title_content(), "有一種信念叫越野跑")
self.assertEqual(parser.get_author_info()["nickname"], "MissK")
self.assertEqual(parser.get_real_video_url(), "https://oss.example.com/page1.mp4")
self.assertEqual(len(parser.get_image_list()), 2)
self.assertEqual(parser.get_audio_url(), "https://oss.example.com/dubbing.m4a")
self.assertEqual(parser.get_cover_photo_url(), "https://oss.example.com/cover.jpg")
self.assertEqual(get.call_args.kwargs["params"]["item_id"], "3473384016073334784")
def test_rejects_link_without_story_id(self):
parser = PineconeMomentParser("https://m.pineconemoment.com/o/4buqAENzZFE")
self.assertIsNone(parser.get_real_video_url())
if __name__ == "__main__":
unittest.main()
+3
View File
@@ -198,6 +198,9 @@ class UrlParserTest(unittest.TestCase):
def test_recognizes_peiyinxiu_domains(self):
self.assertEqual(UrlParser.get_platform("https://www.peiyinxiu.com/m/535482401"), "配音秀")
def test_recognizes_pinecone_moment_domains(self):
self.assertEqual(UrlParser.get_platform("https://m.pineconemoment.com/o/4buqAENzZFE"), "松果时刻")
def test_extracts_kugou_mv_hash_as_video_id(self):
self.assertEqual(
UrlParser.get_video_id("https://m.kugou.com/mv/?hash=48da1fe5cbe4f8774f73160042377b1e"),
+9
View File
@@ -245,6 +245,15 @@ class UrlParser:
preserved_params.append((key, value))
if preserved_params:
address = f"{address}?{urlencode(preserved_params)}"
elif platform == "松果时刻":
query_params = parse_qs(parsed_url.query)
preserved_params = []
for key in ("sharer_id", "author_id", "channel", "version", "style_id", "share_id", "project_id", "story_type", "story_id", "item_type", "item_id"):
value = query_params.get(key, [None])[0]
if value is not None:
preserved_params.append((key, value))
if preserved_params:
address = f"{address}?{urlencode(preserved_params)}"
elif platform == "腾讯频道":
query_params = parse_qs(parsed_url.query)
if value := query_params.get("b", [None])[0]: