diff --git a/README.md b/README.md index 3a72eb7..259827b 100644 --- a/README.md +++ b/README.md @@ -3,7 +3,7 @@ **基于 Python 的多平台媒体原生本地解析系统** -[![License](https://img.shields.io/badge/license-MIT-green.svg)](LICENSE) [![Python Version](https://img.shields.io/badge/python-3.10+-blue.svg)](https://www.python.org/) [![Flask](https://img.shields.io/badge/Framework-Flask-000000?logo=flask&logoColor=white)](https://flask.palletsprojects.com/) [![Docker](https://img.shields.io/badge/Docker-Ready-2496ED?logo=docker&logoColor=white)](#-部署指南) [![Support](https://img.shields.io/badge/support-43%20Platforms-brightgreen.svg)](#-支持的平台矩阵) +[![License](https://img.shields.io/badge/license-MIT-green.svg)](LICENSE) [![Python Version](https://img.shields.io/badge/python-3.10+-blue.svg)](https://www.python.org/) [![Flask](https://img.shields.io/badge/Framework-Flask-000000?logo=flask&logoColor=white)](https://flask.palletsprojects.com/) [![Docker](https://img.shields.io/badge/Docker-Ready-2496ED?logo=docker&logoColor=white)](#-部署指南) [![Support](https://img.shields.io/badge/support-44%20Platforms-brightgreen.svg)](#-支持的平台矩阵)

解析逻辑 • @@ -65,6 +65,7 @@ | **QQ音乐** | ✓ | ✓ | ✓ | ✓ | | | | | | **网易云音乐** | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | | **酷狗音乐** | ✓ | ✓ | ✓ | ✓ | | ✓ | | | +| **配音秀** | ✓ | ✓ | ✓ | ✓ | | | | | | **腾讯频道** | ✓ | ✓ | ✓ | ✓ | | | | | | **剪映 / CapCut** | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | | | | **快影** | ✓ | ✓ | ✓ | ✓ | | ✓ | | | @@ -155,17 +156,17 @@ media-parser/ │ ├── architecture.md # 系统分层架构与生命周期设计 │ ├── reverse-guide.md # 通用逆向方法论 (抓包/SSR/JS签名提取) │ ├── testing.md # 完整测试规范与回归手册 -│ └── parsers/ # 40 份逆向分析文档,覆盖 43 个平台 +│ └── parsers/ # 41 份逆向分析文档,覆盖 44 个平台 ├── src/ # 核心业务逻辑 │ ├── api/ # RESTful API 路由 (/api/parse, /api/health) │ ├── web/ # Demo 体验页与交互蓝图 -│ ├── parsers/ # 40 个解析器模块,支持 43 个平台 (核心解析逻辑) +│ ├── parsers/ # 41 个解析器模块,支持 44 个平台 (核心解析逻辑) │ └── parser_factory.py # 工厂分发器 (解析器动态发现与自动注册) ├── utils/ # 底层工具库与逆向支持 │ ├── signer/ # JS 签名沙箱引擎 (a_bogus, x_bogus 等算法执行) │ └── web_fetcher.py # 智能 URL 识别、重定向追踪与请求封装 ├── tests/ # 完备的双层测试体系 -│ ├── live_parser_samples.json # 43 平台真实多形态在线样本库 +│ ├── live_parser_samples.json # 44 平台真实多形态在线样本库 │ ├── manual_verify_parsers.py # 命令行交互式冒烟与健康检查工具 │ └── test_*_parser.py # 各平台 Mock 自动化单元测试 ├── static/ & templates/ # Web 演示页面前端静态资源 @@ -179,7 +180,7 @@ media-parser/ * 🏗️ **[系统架构与生命周期设计](docs/architecture.md)**:分层设计、302 追踪与 `ParserFactory` 动态发现机制。 * 🔍 **[通用逆向方法论](docs/reverse-guide.md)**:SSR 数据提取、H5 接口伪装、JS 签名沙箱及抓包 SOP。 * 🧪 **[测试体系与回归验证](docs/testing.md)**:Pytest 单元测试、Mock 与线上真实样例回归。 -* 📚 **[平台逆向指南索引](docs/index.md)**:包含抖音、快手、小红书、B站等全部 43 个平台的技术文档。 +* 📚 **[平台逆向指南索引](docs/index.md)**:包含抖音、快手、小红书、B站等全部 44 个平台的技术文档。 --- @@ -188,7 +189,7 @@ media-parser/ 本项目拥有完备的测试体系,包括基础单元测试与基于真实样本库的在线回归测试: ### 1. 真实样本交互式验证 -样例测试库见 [`tests/live_parser_samples.json`](tests/live_parser_samples.json),用于实时验证 43 个平台的解析有效性与多形态覆盖: +样例测试库见 [`tests/live_parser_samples.json`](tests/live_parser_samples.json),用于实时验证 44 个平台的解析有效性与多形态覆盖: ```bash # 快速冒烟测试(每个平台测 1 条最具代表性的链接,极速完成健康检查) diff --git a/configs/business_config.json b/configs/business_config.json index a0effee..7f9f3e7 100755 --- a/configs/business_config.json +++ b/configs/business_config.json @@ -97,6 +97,8 @@ "m.kugou.com": "酷狗音乐", "m3ws.kugou.com": "酷狗音乐", "www.kugou.com": "酷狗音乐", + "peiyinxiu.com": "配音秀", + "www.peiyinxiu.com": "配音秀", "pd.qq.com": "腾讯频道", "lv.ulikecam.com": "剪映", "www.capcut.cn": "剪映", diff --git a/docs/index.md b/docs/index.md index 37b482d..1236438 100644 --- a/docs/index.md +++ b/docs/index.md @@ -2,7 +2,7 @@ 欢迎查阅 **Media Parser** 开发者文档与逆向工程知识库。 -本项目是一个高性能、模块化、支持 **43 个主流媒体与 AI 内容平台** 的无水印音视频、图文及 LivePhoto 结构化解析引擎。 +本项目是一个高性能、模块化、支持 **44 个主流媒体与 AI 内容平台** 的无水印音视频、图文及 LivePhoto 结构化解析引擎。 --- @@ -16,7 +16,7 @@ * **图文与综合社区**:[小红书](parsers/xiaohongshu.md) | [微信公众号](parsers/wechat-mp.md) | [微博](parsers/weibo.md) | [知乎](parsers/zhihu.md) | [闲鱼](parsers/xianyu.md) | [Soul](parsers/soul.md) * **长视频与弹幕/创作**:[哔哩哔哩](parsers/bilibili.md) | [AcFun](parsers/acfun.md) | [新片场](parsers/xinpianchang.md) | [好看视频](parsers/haokan.md) | [西瓜视频](parsers/xigua.md) | [剪映](parsers/jianying.md) | [快影](parsers/kwaiying.md) * **AI 生成与大模型**:[豆包 AI](parsers/doubao.md) | [腾讯元宝](parsers/yuanbao.md) | [即梦 AI](parsers/jimeng.md) | [可灵 AI](parsers/kling.md) | [海螺 AI](parsers/hailuo.md) | [通义千问](parsers/qianwen.md) | [夸克 AI](parsers/quark-ai.md) | [小云雀 AI](parsers/xiaoyunque.md) - * **音频与垂直频道**:[汽水音乐](parsers/qsmusic.md) | [QQ音乐](parsers/qqmusic.md) | [网易云音乐](parsers/netease-music.md) | [酷狗音乐](parsers/kugou-music.md) | [全民K歌](parsers/quanminkge.md) | [虎牙](parsers/huya.md) | [梨视频](parsers/lishipin.md) | [微信视频号](parsers/wechat-channels.md) | [腾讯频道](parsers/tencent-channel.md) + * **音频与垂直频道**:[汽水音乐](parsers/qsmusic.md) | [QQ音乐](parsers/qqmusic.md) | [网易云音乐](parsers/netease-music.md) | [酷狗音乐](parsers/kugou-music.md) | [配音秀](parsers/peiyinxiu.md) | [全民K歌](parsers/quanminkge.md) | [虎牙](parsers/huya.md) | [梨视频](parsers/lishipin.md) | [微信视频号](parsers/wechat-channels.md) | [腾讯频道](parsers/tencent-channel.md) --- @@ -72,6 +72,7 @@ | 41 | **QQ音乐** | MV / 分享视频 / 多档 MP4 | ✅ 支持 | 🟢 免配置 | SSR 元数据 + MusicU 播放接口 | [查看指南](parsers/qqmusic.md) | | 42 | **网易云音乐** | MV / Mlog / 歌曲 / 动态图集与 LivePhoto | ✅ 支持 | 🟢 公开内容免配置 | SSR / Event 数据 + 公开播放接口 | [查看指南](parsers/netease-music.md) | | 43 | **酷狗音乐** | MV / 免费歌曲 / 多档 MP4 | ✅ 支持 | 🟢 公开内容免配置 | H5 公开接口签名 + 分享页数据 | [查看指南](parsers/kugou-music.md) | +| 44 | **配音秀** | 配音作品视频 (MP4) | ✅ 支持 | 🟢 公开内容免配置 | 作品页初始化数据提取 | [查看指南](parsers/peiyinxiu.md) | --- diff --git a/docs/parsers/peiyinxiu.md b/docs/parsers/peiyinxiu.md new file mode 100644 index 0000000..7f58992 --- /dev/null +++ b/docs/parsers/peiyinxiu.md @@ -0,0 +1,13 @@ +# 配音秀解析指南 + +## 支持范围 + +- 公开作品页:`https://www.peiyinxiu.com/m/{作品ID}`。 + +## 提取字段 + +可提取作品标题、作者昵称与头像、封面,以及页面公开的原始 MP4 地址。 + +## 实现说明 + +作品页初始化时直接写入 `PlayByShowplay.play` 配置;解析器从其中读取 `filmurl` 和 `filmimg`,不依赖登录态。 diff --git a/docs/testing.md b/docs/testing.md index 0d3521b..7a9d172 100644 --- a/docs/testing.md +++ b/docs/testing.md @@ -13,7 +13,7 @@ tests/ ├── test_parser_factory.py # 解析器自动注册与工厂路由测试 ├── test_web_fetcher.py # 302跳转与URL正则提取测试 ├── test_*_parser.py # 各平台专属的单元测试 -├── live_parser_samples.json # 真实线上验证样本库 (43+ 平台活跃样例) +├── live_parser_samples.json # 真实线上验证样本库 (44+ 平台活跃样例) ├── test_live_parser_samples.py # 自动化执行样本库回归测试 └── manual_verify_parsers.py # 命令行交互式/全量人工排查脚本 ``` @@ -48,10 +48,10 @@ pytest tests/test_live_parser_samples.py -s ``` ### 4. 运行交互式真实样本回归验证工具 -[tests/manual_verify_parsers.py](file:///Users/leo/Projects/media-parser/tests/manual_verify_parsers.py) 支持对 43+ 个平台的多种形态(短链、长链、视频、图集等)发起真实网络请求与字段契约校验: +[tests/manual_verify_parsers.py](file:///Users/leo/Projects/media-parser/tests/manual_verify_parsers.py) 支持对 44+ 个平台的多种形态(短链、长链、视频、图集等)发起真实网络请求与字段契约校验: ```bash -# 1. 快速冒烟测试 (每个平台只测 1 条最具代表性的链接,极速完成 43 平台基准健康检查) +# 1. 快速冒烟测试 (每个平台只测 1 条最具代表性的链接,极速完成 44 平台基准健康检查) python3 tests/manual_verify_parsers.py --limit 1 # 2. 验证指定平台的多形态覆盖 (支持重复传入多个 --platform 参数) diff --git a/src/parsers/peiyinxiu_parser.py b/src/parsers/peiyinxiu_parser.py new file mode 100644 index 0000000..ec29989 --- /dev/null +++ b/src/parsers/peiyinxiu_parser.py @@ -0,0 +1,100 @@ +"""配音秀作品分享页解析器。""" + +import html +import re + +from bs4 import BeautifulSoup + +from configs.logging_config import get_logger +from src.parser_factory import register_parser +from src.parsers.base_parser import BaseParser + + +logger = get_logger(__name__) + + +@register_parser("配音秀") +class PeiyinxiuParser(BaseParser): + """解析配音秀公开作品页中的原始 MP4 与作品元数据。""" + + MOBILE_UA = ( + "Mozilla/5.0 (iPhone; CPU iPhone OS 18_0 like Mac OS X) " + "AppleWebKit/605.1.15 (KHTML, like Gecko) Version/18.0 " + "Mobile/15E148 Safari/604.1" + ) + + def __init__(self, real_url): + super().__init__(real_url) + self.headers = {"User-Agent": self.MOBILE_UA, "Referer": "https://www.peiyinxiu.com/"} + self.title = "" + self.cover_url = None + self.author = {"nickname": "", "author_id": "", "avatar": ""} + self.video_list = [] + self._parse_page() + + def _parse_page(self): + try: + response = self.session.get(self.real_url, headers=self.headers, timeout=10) + response.raise_for_status() + self.html_content = response.text + except Exception as exc: + logger.warning("Failed to fetch Peiyinxiu share page: %s", exc) + return + + soup = BeautifulSoup(self.html_content, "lxml") + root = soup.select_one("#wlui") + author_id = root.get("data-uid", "") if root else "" + title_tag = soup.select_one(".filmName") + self.title = ( + (title_tag.get("data-title") if title_tag else None) + or (title_tag.get_text(strip=True) if title_tag else "") + or self._meta_content(soup, "og:title") + or "" + ) + author_tag = soup.select_one(".athorName span") + avatar_tag = soup.select_one(".userHead") + self.author = { + "nickname": author_tag.get_text(strip=True).lstrip("@") if author_tag else "", + "author_id": str(author_id), + "avatar": self._absolute_url(avatar_tag.get("src")) if avatar_tag else "", + } + self.video_list = self._unique(self._script_value("filmurl")) + self.cover_url = self._script_value("filmimg") or self._meta_content(soup, "og:image") + + def _script_value(self, key): + match = re.search( + rf"\b{key}\s*:\s*['\"]([^'\"]+)['\"]", self.html_content or "", re.I + ) + return self._absolute_url(html.unescape(match.group(1))) if match else None + + @staticmethod + def _meta_content(soup, property_name): + tag = soup.find("meta", attrs={"property": property_name}) + return tag.get("content") if tag else None + + @staticmethod + def _absolute_url(url): + if not isinstance(url, str) or not url: + return None + if url.startswith("//"): + return f"https:{url}" + return url if url.startswith(("http://", "https://")) else None + + @staticmethod + def _unique(url): + return [url] if url else [] + + def get_real_video_url(self): + return self.video_list[0] if self.video_list else None + + def get_video_list(self): + return self.video_list + + def get_title_content(self): + return self.title + + def get_cover_photo_url(self): + return self.cover_url + + def get_author_info(self): + return self.author diff --git a/tests/live_parser_samples.json b/tests/live_parser_samples.json index 6938e3c..fbdeff8 100644 --- a/tests/live_parser_samples.json +++ b/tests/live_parser_samples.json @@ -1,7 +1,7 @@ { "schema_version": 2, - "description": "43 平台多形态全景自动化回归测试用例库 (涵盖短链/长链/图集/单视频/AI生成等)", - "total_cases": 295, + "description": "44 平台多形态全景自动化回归测试用例库 (涵盖短链/长链/图集/单视频/AI生成等)", + "total_cases": 296, "cases": [ { "platform": "网易云音乐", @@ -112,6 +112,21 @@ "note": "2026-09-01 已验证: 酷狗移动端 MV 长链,按清晰度优先返回 MP4", "pattern": "MV 多清晰度" }, + { + "platform": "配音秀", + "url": "https://www.peiyinxiu.com/m/532356596", + "media_types": [ + "video" + ], + "expected_fields": [ + "video", + "cover", + "title", + "author" + ], + "note": "2026-09-01 已验证: 配音秀公开作品页,页面初始化数据直接提供 MP4", + "pattern": "公开配音作品" + }, { "platform": "腾讯元宝", "url": "https://yb.tencent.com/s/OXzXwcr2Vk9H", diff --git a/tests/test_peiyinxiu_parser.py b/tests/test_peiyinxiu_parser.py new file mode 100644 index 0000000..a6149a7 --- /dev/null +++ b/tests/test_peiyinxiu_parser.py @@ -0,0 +1,38 @@ +import unittest +from unittest.mock import Mock, patch + +from src.parsers.peiyinxiu_parser import PeiyinxiuParser + + +class PeiyinxiuParserTest(unittest.TestCase): + URL = "https://www.peiyinxiu.com/m/535482401" + + @patch("src.parsers.base_parser.requests.Session.get") + def test_parses_public_work_page(self, get): + response = Mock() + response.raise_for_status.return_value = None + response.text = ''' +

+
@DY_苏苏
+ +
七夕节你怎么过?
+ + ''' + get.return_value = response + parser = PeiyinxiuParser(self.URL) + self.assertEqual(parser.get_title_content(), "七夕节你怎么过?") + self.assertEqual(parser.get_author_info(), {"nickname": "DY_苏苏", "author_id": "186214518", "avatar": "https://img7.peiyinxiu.com/avatar/test.jpg"}) + self.assertEqual(parser.get_cover_photo_url(), "https://img7.peiyinxiu.com/test.jpg") + self.assertEqual(parser.get_real_video_url(), "https://video7.peiyinxiu.com/download/test.mp4") + + @patch("src.parsers.base_parser.requests.Session.get") + def test_handles_missing_media(self, get): + response = Mock() + response.raise_for_status.return_value = None + response.text = '
' + get.return_value = response + self.assertIsNone(PeiyinxiuParser(self.URL).get_real_video_url()) + + +if __name__ == "__main__": + unittest.main() diff --git a/tests/test_web_fetcher.py b/tests/test_web_fetcher.py index 801e246..e270741 100644 --- a/tests/test_web_fetcher.py +++ b/tests/test_web_fetcher.py @@ -195,6 +195,9 @@ class UrlParserTest(unittest.TestCase): self.assertEqual(UrlParser.get_platform("https://m.kugou.com/mv/?hash=abc"), "酷狗音乐") self.assertEqual(UrlParser.get_platform("https://m3ws.kugou.com/mv/?hash=abc"), "酷狗音乐") + def test_recognizes_peiyinxiu_domains(self): + self.assertEqual(UrlParser.get_platform("https://www.peiyinxiu.com/m/535482401"), "配音秀") + def test_extracts_kugou_mv_hash_as_video_id(self): self.assertEqual( UrlParser.get_video_id("https://m.kugou.com/mv/?hash=48da1fe5cbe4f8774f73160042377b1e"),