新增配音秀平台解析支持

This commit is contained in:
ucmao
2026-09-01 22:22:14 +08:00
parent 0f881e9bd7
commit 00a8b58511
9 changed files with 186 additions and 13 deletions
+7 -6
View File
@@ -3,7 +3,7 @@
**基于 Python 的多平台媒体原生本地解析系统**
[![License](https://img.shields.io/badge/license-MIT-green.svg)](LICENSE) [![Python Version](https://img.shields.io/badge/python-3.10+-blue.svg)](https://www.python.org/) [![Flask](https://img.shields.io/badge/Framework-Flask-000000?logo=flask&logoColor=white)](https://flask.palletsprojects.com/) [![Docker](https://img.shields.io/badge/Docker-Ready-2496ED?logo=docker&logoColor=white)](#-部署指南) [![Support](https://img.shields.io/badge/support-43%20Platforms-brightgreen.svg)](#-支持的平台矩阵)
[![License](https://img.shields.io/badge/license-MIT-green.svg)](LICENSE) [![Python Version](https://img.shields.io/badge/python-3.10+-blue.svg)](https://www.python.org/) [![Flask](https://img.shields.io/badge/Framework-Flask-000000?logo=flask&logoColor=white)](https://flask.palletsprojects.com/) [![Docker](https://img.shields.io/badge/Docker-Ready-2496ED?logo=docker&logoColor=white)](#-部署指南) [![Support](https://img.shields.io/badge/support-44%20Platforms-brightgreen.svg)](#-支持的平台矩阵)
<p align="center">
<a href="#-核心解析逻辑">解析逻辑</a> •
@@ -65,6 +65,7 @@
| **QQ音乐** | ✓ | ✓ | ✓ | ✓ | | | | |
| **网易云音乐** | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| **酷狗音乐** | ✓ | ✓ | ✓ | ✓ | | ✓ | | |
| **配音秀** | ✓ | ✓ | ✓ | ✓ | | | | |
| **腾讯频道** | ✓ | ✓ | ✓ | ✓ | | | | |
| **剪映 / CapCut** | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | | |
| **快影** | ✓ | ✓ | ✓ | ✓ | | ✓ | | |
@@ -155,17 +156,17 @@ media-parser/
│ ├── architecture.md # 系统分层架构与生命周期设计
│ ├── reverse-guide.md # 通用逆向方法论 (抓包/SSR/JS签名提取)
│ ├── testing.md # 完整测试规范与回归手册
│ └── parsers/ # 40 份逆向分析文档,覆盖 43 个平台
│ └── parsers/ # 41 份逆向分析文档,覆盖 44 个平台
├── src/ # 核心业务逻辑
│ ├── api/ # RESTful API 路由 (/api/parse, /api/health)
│ ├── web/ # Demo 体验页与交互蓝图
│ ├── parsers/ # 40 个解析器模块,支持 43 个平台 (核心解析逻辑)
│ ├── parsers/ # 41 个解析器模块,支持 44 个平台 (核心解析逻辑)
│ └── parser_factory.py # 工厂分发器 (解析器动态发现与自动注册)
├── utils/ # 底层工具库与逆向支持
│ ├── signer/ # JS 签名沙箱引擎 (a_bogus, x_bogus 等算法执行)
│ └── web_fetcher.py # 智能 URL 识别、重定向追踪与请求封装
├── tests/ # 完备的双层测试体系
│ ├── live_parser_samples.json # 43 平台真实多形态在线样本库
│ ├── live_parser_samples.json # 44 平台真实多形态在线样本库
│ ├── manual_verify_parsers.py # 命令行交互式冒烟与健康检查工具
│ └── test_*_parser.py # 各平台 Mock 自动化单元测试
├── static/ & templates/ # Web 演示页面前端静态资源
@@ -179,7 +180,7 @@ media-parser/
* 🏗️ **[系统架构与生命周期设计](docs/architecture.md)**:分层设计、302 追踪与 `ParserFactory` 动态发现机制。
* 🔍 **[通用逆向方法论](docs/reverse-guide.md)**:SSR 数据提取、H5 接口伪装、JS 签名沙箱及抓包 SOP。
* 🧪 **[测试体系与回归验证](docs/testing.md)**:Pytest 单元测试、Mock 与线上真实样例回归。
* 📚 **[平台逆向指南索引](docs/index.md)**:包含抖音、快手、小红书、B站等全部 43 个平台的技术文档。
* 📚 **[平台逆向指南索引](docs/index.md)**:包含抖音、快手、小红书、B站等全部 44 个平台的技术文档。
---
@@ -188,7 +189,7 @@ media-parser/
本项目拥有完备的测试体系,包括基础单元测试与基于真实样本库的在线回归测试:
### 1. 真实样本交互式验证
样例测试库见 [`tests/live_parser_samples.json`](tests/live_parser_samples.json),用于实时验证 43 个平台的解析有效性与多形态覆盖:
样例测试库见 [`tests/live_parser_samples.json`](tests/live_parser_samples.json),用于实时验证 44 个平台的解析有效性与多形态覆盖:
```bash
# 快速冒烟测试(每个平台测 1 条最具代表性的链接,极速完成健康检查)
+2
View File
@@ -97,6 +97,8 @@
"m.kugou.com": "酷狗音乐",
"m3ws.kugou.com": "酷狗音乐",
"www.kugou.com": "酷狗音乐",
"peiyinxiu.com": "配音秀",
"www.peiyinxiu.com": "配音秀",
"pd.qq.com": "腾讯频道",
"lv.ulikecam.com": "剪映",
"www.capcut.cn": "剪映",
+3 -2
View File
@@ -2,7 +2,7 @@
欢迎查阅 **Media Parser** 开发者文档与逆向工程知识库。
本项目是一个高性能、模块化、支持 **43 个主流媒体与 AI 内容平台** 的无水印音视频、图文及 LivePhoto 结构化解析引擎。
本项目是一个高性能、模块化、支持 **44 个主流媒体与 AI 内容平台** 的无水印音视频、图文及 LivePhoto 结构化解析引擎。
---
@@ -16,7 +16,7 @@
* **图文与综合社区**:[小红书](parsers/xiaohongshu.md) | [微信公众号](parsers/wechat-mp.md) | [微博](parsers/weibo.md) | [知乎](parsers/zhihu.md) | [闲鱼](parsers/xianyu.md) | [Soul](parsers/soul.md)
* **长视频与弹幕/创作**:[哔哩哔哩](parsers/bilibili.md) | [AcFun](parsers/acfun.md) | [新片场](parsers/xinpianchang.md) | [好看视频](parsers/haokan.md) | [西瓜视频](parsers/xigua.md) | [剪映](parsers/jianying.md) | [快影](parsers/kwaiying.md)
* **AI 生成与大模型**:[豆包 AI](parsers/doubao.md) | [腾讯元宝](parsers/yuanbao.md) | [即梦 AI](parsers/jimeng.md) | [可灵 AI](parsers/kling.md) | [海螺 AI](parsers/hailuo.md) | [通义千问](parsers/qianwen.md) | [夸克 AI](parsers/quark-ai.md) | [小云雀 AI](parsers/xiaoyunque.md)
* **音频与垂直频道**:[汽水音乐](parsers/qsmusic.md) | [QQ音乐](parsers/qqmusic.md) | [网易云音乐](parsers/netease-music.md) | [酷狗音乐](parsers/kugou-music.md) | [全民K歌](parsers/quanminkge.md) | [虎牙](parsers/huya.md) | [梨视频](parsers/lishipin.md) | [微信视频号](parsers/wechat-channels.md) | [腾讯频道](parsers/tencent-channel.md)
* **音频与垂直频道**:[汽水音乐](parsers/qsmusic.md) | [QQ音乐](parsers/qqmusic.md) | [网易云音乐](parsers/netease-music.md) | [酷狗音乐](parsers/kugou-music.md) | [配音秀](parsers/peiyinxiu.md) | [全民K歌](parsers/quanminkge.md) | [虎牙](parsers/huya.md) | [梨视频](parsers/lishipin.md) | [微信视频号](parsers/wechat-channels.md) | [腾讯频道](parsers/tencent-channel.md)
---
@@ -72,6 +72,7 @@
| 41 | **QQ音乐** | MV / 分享视频 / 多档 MP4 | ✅ 支持 | 🟢 免配置 | SSR 元数据 + MusicU 播放接口 | [查看指南](parsers/qqmusic.md) |
| 42 | **网易云音乐** | MV / Mlog / 歌曲 / 动态图集与 LivePhoto | ✅ 支持 | 🟢 公开内容免配置 | SSR / Event 数据 + 公开播放接口 | [查看指南](parsers/netease-music.md) |
| 43 | **酷狗音乐** | MV / 免费歌曲 / 多档 MP4 | ✅ 支持 | 🟢 公开内容免配置 | H5 公开接口签名 + 分享页数据 | [查看指南](parsers/kugou-music.md) |
| 44 | **配音秀** | 配音作品视频 (MP4) | ✅ 支持 | 🟢 公开内容免配置 | 作品页初始化数据提取 | [查看指南](parsers/peiyinxiu.md) |
---
+13
View File
@@ -0,0 +1,13 @@
# 配音秀解析指南
## 支持范围
- 公开作品页:`https://www.peiyinxiu.com/m/{作品ID}`。
## 提取字段
可提取作品标题、作者昵称与头像、封面,以及页面公开的原始 MP4 地址。
## 实现说明
作品页初始化时直接写入 `PlayByShowplay.play` 配置;解析器从其中读取 `filmurl` 和 `filmimg`,不依赖登录态。
+3 -3
View File
@@ -13,7 +13,7 @@ tests/
├── test_parser_factory.py # 解析器自动注册与工厂路由测试
├── test_web_fetcher.py # 302跳转与URL正则提取测试
├── test_*_parser.py # 各平台专属的单元测试
├── live_parser_samples.json # 真实线上验证样本库 (43+ 平台活跃样例)
├── live_parser_samples.json # 真实线上验证样本库 (44+ 平台活跃样例)
├── test_live_parser_samples.py # 自动化执行样本库回归测试
└── manual_verify_parsers.py # 命令行交互式/全量人工排查脚本
```
@@ -48,10 +48,10 @@ pytest tests/test_live_parser_samples.py -s
```
### 4. 运行交互式真实样本回归验证工具
[tests/manual_verify_parsers.py](file:///Users/leo/Projects/media-parser/tests/manual_verify_parsers.py) 支持对 43+ 个平台的多种形态(短链、长链、视频、图集等)发起真实网络请求与字段契约校验:
[tests/manual_verify_parsers.py](file:///Users/leo/Projects/media-parser/tests/manual_verify_parsers.py) 支持对 44+ 个平台的多种形态(短链、长链、视频、图集等)发起真实网络请求与字段契约校验:
```bash
# 1. 快速冒烟测试 (每个平台只测 1 条最具代表性的链接,极速完成 43 平台基准健康检查)
# 1. 快速冒烟测试 (每个平台只测 1 条最具代表性的链接,极速完成 44 平台基准健康检查)
python3 tests/manual_verify_parsers.py --limit 1
# 2. 验证指定平台的多形态覆盖 (支持重复传入多个 --platform 参数)
+100
View File
@@ -0,0 +1,100 @@
"""配音秀作品分享页解析器。"""
import html
import re
from bs4 import BeautifulSoup
from configs.logging_config import get_logger
from src.parser_factory import register_parser
from src.parsers.base_parser import BaseParser
logger = get_logger(__name__)
@register_parser("配音秀")
class PeiyinxiuParser(BaseParser):
"""解析配音秀公开作品页中的原始 MP4 与作品元数据。"""
MOBILE_UA = (
"Mozilla/5.0 (iPhone; CPU iPhone OS 18_0 like Mac OS X) "
"AppleWebKit/605.1.15 (KHTML, like Gecko) Version/18.0 "
"Mobile/15E148 Safari/604.1"
)
def __init__(self, real_url):
super().__init__(real_url)
self.headers = {"User-Agent": self.MOBILE_UA, "Referer": "https://www.peiyinxiu.com/"}
self.title = ""
self.cover_url = None
self.author = {"nickname": "", "author_id": "", "avatar": ""}
self.video_list = []
self._parse_page()
def _parse_page(self):
try:
response = self.session.get(self.real_url, headers=self.headers, timeout=10)
response.raise_for_status()
self.html_content = response.text
except Exception as exc:
logger.warning("Failed to fetch Peiyinxiu share page: %s", exc)
return
soup = BeautifulSoup(self.html_content, "lxml")
root = soup.select_one("#wlui")
author_id = root.get("data-uid", "") if root else ""
title_tag = soup.select_one(".filmName")
self.title = (
(title_tag.get("data-title") if title_tag else None)
or (title_tag.get_text(strip=True) if title_tag else "")
or self._meta_content(soup, "og:title")
or ""
)
author_tag = soup.select_one(".athorName span")
avatar_tag = soup.select_one(".userHead")
self.author = {
"nickname": author_tag.get_text(strip=True).lstrip("@") if author_tag else "",
"author_id": str(author_id),
"avatar": self._absolute_url(avatar_tag.get("src")) if avatar_tag else "",
}
self.video_list = self._unique(self._script_value("filmurl"))
self.cover_url = self._script_value("filmimg") or self._meta_content(soup, "og:image")
def _script_value(self, key):
match = re.search(
rf"\b{key}\s*:\s*['\"]([^'\"]+)['\"]", self.html_content or "", re.I
)
return self._absolute_url(html.unescape(match.group(1))) if match else None
@staticmethod
def _meta_content(soup, property_name):
tag = soup.find("meta", attrs={"property": property_name})
return tag.get("content") if tag else None
@staticmethod
def _absolute_url(url):
if not isinstance(url, str) or not url:
return None
if url.startswith("//"):
return f"https:{url}"
return url if url.startswith(("http://", "https://")) else None
@staticmethod
def _unique(url):
return [url] if url else []
def get_real_video_url(self):
return self.video_list[0] if self.video_list else None
def get_video_list(self):
return self.video_list
def get_title_content(self):
return self.title
def get_cover_photo_url(self):
return self.cover_url
def get_author_info(self):
return self.author
+17 -2
View File
@@ -1,7 +1,7 @@
{
"schema_version": 2,
"description": "43 平台多形态全景自动化回归测试用例库 (涵盖短链/长链/图集/单视频/AI生成等)",
"total_cases": 295,
"description": "44 平台多形态全景自动化回归测试用例库 (涵盖短链/长链/图集/单视频/AI生成等)",
"total_cases": 296,
"cases": [
{
"platform": "网易云音乐",
@@ -112,6 +112,21 @@
"note": "2026-09-01 已验证: 酷狗移动端 MV 长链,按清晰度优先返回 MP4",
"pattern": "MV 多清晰度"
},
{
"platform": "配音秀",
"url": "https://www.peiyinxiu.com/m/532356596",
"media_types": [
"video"
],
"expected_fields": [
"video",
"cover",
"title",
"author"
],
"note": "2026-09-01 已验证: 配音秀公开作品页,页面初始化数据直接提供 MP4",
"pattern": "公开配音作品"
},
{
"platform": "腾讯元宝",
"url": "https://yb.tencent.com/s/OXzXwcr2Vk9H",
+38
View File
@@ -0,0 +1,38 @@
import unittest
from unittest.mock import Mock, patch
from src.parsers.peiyinxiu_parser import PeiyinxiuParser
class PeiyinxiuParserTest(unittest.TestCase):
URL = "https://www.peiyinxiu.com/m/535482401"
@patch("src.parsers.base_parser.requests.Session.get")
def test_parses_public_work_page(self, get):
response = Mock()
response.raise_for_status.return_value = None
response.text = '''
<div id="wlui" data-fid="535482401" data-uid="186214518"></div>
<div class="athorName"><span>@DY_苏苏</span></div>
<img class="userHead" src="//img7.peiyinxiu.com/avatar/test.jpg">
<div class="filmName" data-title="七夕节你怎么过?">七夕节你怎么过?</div>
<script>PlayByShowplay.play({filmurl: 'https://video7.peiyinxiu.com/download/test.mp4', filmimg: 'https://img7.peiyinxiu.com/test.jpg'});</script>
'''
get.return_value = response
parser = PeiyinxiuParser(self.URL)
self.assertEqual(parser.get_title_content(), "七夕节你怎么过?")
self.assertEqual(parser.get_author_info(), {"nickname": "DY_苏苏", "author_id": "186214518", "avatar": "https://img7.peiyinxiu.com/avatar/test.jpg"})
self.assertEqual(parser.get_cover_photo_url(), "https://img7.peiyinxiu.com/test.jpg")
self.assertEqual(parser.get_real_video_url(), "https://video7.peiyinxiu.com/download/test.mp4")
@patch("src.parsers.base_parser.requests.Session.get")
def test_handles_missing_media(self, get):
response = Mock()
response.raise_for_status.return_value = None
response.text = '<div id="wlui" data-uid="1"></div>'
get.return_value = response
self.assertIsNone(PeiyinxiuParser(self.URL).get_real_video_url())
if __name__ == "__main__":
unittest.main()
+3
View File
@@ -195,6 +195,9 @@ class UrlParserTest(unittest.TestCase):
self.assertEqual(UrlParser.get_platform("https://m.kugou.com/mv/?hash=abc"), "酷狗音乐")
self.assertEqual(UrlParser.get_platform("https://m3ws.kugou.com/mv/?hash=abc"), "酷狗音乐")
def test_recognizes_peiyinxiu_domains(self):
self.assertEqual(UrlParser.get_platform("https://www.peiyinxiu.com/m/535482401"), "配音秀")
def test_extracts_kugou_mv_hash_as_video_id(self):
self.assertEqual(
UrlParser.get_video_id("https://m.kugou.com/mv/?hash=48da1fe5cbe4f8774f73160042377b1e"),