mirror of
https://github.com/ucmao/media-parser.git
synced 2026-11-20 08:04:56 +08:00
新增配音秀平台解析支持
This commit is contained in:
@@ -3,7 +3,7 @@
|
||||
|
||||
**基于 Python 的多平台媒体原生本地解析系统**
|
||||
|
||||
[](LICENSE) [](https://www.python.org/) [](https://flask.palletsprojects.com/) [](#-部署指南) [](#-支持的平台矩阵)
|
||||
[](LICENSE) [](https://www.python.org/) [](https://flask.palletsprojects.com/) [](#-部署指南) [](#-支持的平台矩阵)
|
||||
|
||||
<p align="center">
|
||||
<a href="#-核心解析逻辑">解析逻辑</a> •
|
||||
@@ -65,6 +65,7 @@
|
||||
| **QQ音乐** | ✓ | ✓ | ✓ | ✓ | | | | |
|
||||
| **网易云音乐** | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
|
||||
| **酷狗音乐** | ✓ | ✓ | ✓ | ✓ | | ✓ | | |
|
||||
| **配音秀** | ✓ | ✓ | ✓ | ✓ | | | | |
|
||||
| **腾讯频道** | ✓ | ✓ | ✓ | ✓ | | | | |
|
||||
| **剪映 / CapCut** | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | | |
|
||||
| **快影** | ✓ | ✓ | ✓ | ✓ | | ✓ | | |
|
||||
@@ -155,17 +156,17 @@ media-parser/
|
||||
│ ├── architecture.md # 系统分层架构与生命周期设计
|
||||
│ ├── reverse-guide.md # 通用逆向方法论 (抓包/SSR/JS签名提取)
|
||||
│ ├── testing.md # 完整测试规范与回归手册
|
||||
│ └── parsers/ # 40 份逆向分析文档,覆盖 43 个平台
|
||||
│ └── parsers/ # 41 份逆向分析文档,覆盖 44 个平台
|
||||
├── src/ # 核心业务逻辑
|
||||
│ ├── api/ # RESTful API 路由 (/api/parse, /api/health)
|
||||
│ ├── web/ # Demo 体验页与交互蓝图
|
||||
│ ├── parsers/ # 40 个解析器模块,支持 43 个平台 (核心解析逻辑)
|
||||
│ ├── parsers/ # 41 个解析器模块,支持 44 个平台 (核心解析逻辑)
|
||||
│ └── parser_factory.py # 工厂分发器 (解析器动态发现与自动注册)
|
||||
├── utils/ # 底层工具库与逆向支持
|
||||
│ ├── signer/ # JS 签名沙箱引擎 (a_bogus, x_bogus 等算法执行)
|
||||
│ └── web_fetcher.py # 智能 URL 识别、重定向追踪与请求封装
|
||||
├── tests/ # 完备的双层测试体系
|
||||
│ ├── live_parser_samples.json # 43 平台真实多形态在线样本库
|
||||
│ ├── live_parser_samples.json # 44 平台真实多形态在线样本库
|
||||
│ ├── manual_verify_parsers.py # 命令行交互式冒烟与健康检查工具
|
||||
│ └── test_*_parser.py # 各平台 Mock 自动化单元测试
|
||||
├── static/ & templates/ # Web 演示页面前端静态资源
|
||||
@@ -179,7 +180,7 @@ media-parser/
|
||||
* 🏗️ **[系统架构与生命周期设计](docs/architecture.md)**:分层设计、302 追踪与 `ParserFactory` 动态发现机制。
|
||||
* 🔍 **[通用逆向方法论](docs/reverse-guide.md)**:SSR 数据提取、H5 接口伪装、JS 签名沙箱及抓包 SOP。
|
||||
* 🧪 **[测试体系与回归验证](docs/testing.md)**:Pytest 单元测试、Mock 与线上真实样例回归。
|
||||
* 📚 **[平台逆向指南索引](docs/index.md)**:包含抖音、快手、小红书、B站等全部 43 个平台的技术文档。
|
||||
* 📚 **[平台逆向指南索引](docs/index.md)**:包含抖音、快手、小红书、B站等全部 44 个平台的技术文档。
|
||||
|
||||
---
|
||||
|
||||
@@ -188,7 +189,7 @@ media-parser/
|
||||
本项目拥有完备的测试体系,包括基础单元测试与基于真实样本库的在线回归测试:
|
||||
|
||||
### 1. 真实样本交互式验证
|
||||
样例测试库见 [`tests/live_parser_samples.json`](tests/live_parser_samples.json),用于实时验证 43 个平台的解析有效性与多形态覆盖:
|
||||
样例测试库见 [`tests/live_parser_samples.json`](tests/live_parser_samples.json),用于实时验证 44 个平台的解析有效性与多形态覆盖:
|
||||
|
||||
```bash
|
||||
# 快速冒烟测试(每个平台测 1 条最具代表性的链接,极速完成健康检查)
|
||||
|
||||
@@ -97,6 +97,8 @@
|
||||
"m.kugou.com": "酷狗音乐",
|
||||
"m3ws.kugou.com": "酷狗音乐",
|
||||
"www.kugou.com": "酷狗音乐",
|
||||
"peiyinxiu.com": "配音秀",
|
||||
"www.peiyinxiu.com": "配音秀",
|
||||
"pd.qq.com": "腾讯频道",
|
||||
"lv.ulikecam.com": "剪映",
|
||||
"www.capcut.cn": "剪映",
|
||||
|
||||
+3
-2
@@ -2,7 +2,7 @@
|
||||
|
||||
欢迎查阅 **Media Parser** 开发者文档与逆向工程知识库。
|
||||
|
||||
本项目是一个高性能、模块化、支持 **43 个主流媒体与 AI 内容平台** 的无水印音视频、图文及 LivePhoto 结构化解析引擎。
|
||||
本项目是一个高性能、模块化、支持 **44 个主流媒体与 AI 内容平台** 的无水印音视频、图文及 LivePhoto 结构化解析引擎。
|
||||
|
||||
---
|
||||
|
||||
@@ -16,7 +16,7 @@
|
||||
* **图文与综合社区**:[小红书](parsers/xiaohongshu.md) | [微信公众号](parsers/wechat-mp.md) | [微博](parsers/weibo.md) | [知乎](parsers/zhihu.md) | [闲鱼](parsers/xianyu.md) | [Soul](parsers/soul.md)
|
||||
* **长视频与弹幕/创作**:[哔哩哔哩](parsers/bilibili.md) | [AcFun](parsers/acfun.md) | [新片场](parsers/xinpianchang.md) | [好看视频](parsers/haokan.md) | [西瓜视频](parsers/xigua.md) | [剪映](parsers/jianying.md) | [快影](parsers/kwaiying.md)
|
||||
* **AI 生成与大模型**:[豆包 AI](parsers/doubao.md) | [腾讯元宝](parsers/yuanbao.md) | [即梦 AI](parsers/jimeng.md) | [可灵 AI](parsers/kling.md) | [海螺 AI](parsers/hailuo.md) | [通义千问](parsers/qianwen.md) | [夸克 AI](parsers/quark-ai.md) | [小云雀 AI](parsers/xiaoyunque.md)
|
||||
* **音频与垂直频道**:[汽水音乐](parsers/qsmusic.md) | [QQ音乐](parsers/qqmusic.md) | [网易云音乐](parsers/netease-music.md) | [酷狗音乐](parsers/kugou-music.md) | [全民K歌](parsers/quanminkge.md) | [虎牙](parsers/huya.md) | [梨视频](parsers/lishipin.md) | [微信视频号](parsers/wechat-channels.md) | [腾讯频道](parsers/tencent-channel.md)
|
||||
* **音频与垂直频道**:[汽水音乐](parsers/qsmusic.md) | [QQ音乐](parsers/qqmusic.md) | [网易云音乐](parsers/netease-music.md) | [酷狗音乐](parsers/kugou-music.md) | [配音秀](parsers/peiyinxiu.md) | [全民K歌](parsers/quanminkge.md) | [虎牙](parsers/huya.md) | [梨视频](parsers/lishipin.md) | [微信视频号](parsers/wechat-channels.md) | [腾讯频道](parsers/tencent-channel.md)
|
||||
|
||||
---
|
||||
|
||||
@@ -72,6 +72,7 @@
|
||||
| 41 | **QQ音乐** | MV / 分享视频 / 多档 MP4 | ✅ 支持 | 🟢 免配置 | SSR 元数据 + MusicU 播放接口 | [查看指南](parsers/qqmusic.md) |
|
||||
| 42 | **网易云音乐** | MV / Mlog / 歌曲 / 动态图集与 LivePhoto | ✅ 支持 | 🟢 公开内容免配置 | SSR / Event 数据 + 公开播放接口 | [查看指南](parsers/netease-music.md) |
|
||||
| 43 | **酷狗音乐** | MV / 免费歌曲 / 多档 MP4 | ✅ 支持 | 🟢 公开内容免配置 | H5 公开接口签名 + 分享页数据 | [查看指南](parsers/kugou-music.md) |
|
||||
| 44 | **配音秀** | 配音作品视频 (MP4) | ✅ 支持 | 🟢 公开内容免配置 | 作品页初始化数据提取 | [查看指南](parsers/peiyinxiu.md) |
|
||||
|
||||
---
|
||||
|
||||
|
||||
@@ -0,0 +1,13 @@
|
||||
# 配音秀解析指南
|
||||
|
||||
## 支持范围
|
||||
|
||||
- 公开作品页:`https://www.peiyinxiu.com/m/{作品ID}`。
|
||||
|
||||
## 提取字段
|
||||
|
||||
可提取作品标题、作者昵称与头像、封面,以及页面公开的原始 MP4 地址。
|
||||
|
||||
## 实现说明
|
||||
|
||||
作品页初始化时直接写入 `PlayByShowplay.play` 配置;解析器从其中读取 `filmurl` 和 `filmimg`,不依赖登录态。
|
||||
+3
-3
@@ -13,7 +13,7 @@ tests/
|
||||
├── test_parser_factory.py # 解析器自动注册与工厂路由测试
|
||||
├── test_web_fetcher.py # 302跳转与URL正则提取测试
|
||||
├── test_*_parser.py # 各平台专属的单元测试
|
||||
├── live_parser_samples.json # 真实线上验证样本库 (43+ 平台活跃样例)
|
||||
├── live_parser_samples.json # 真实线上验证样本库 (44+ 平台活跃样例)
|
||||
├── test_live_parser_samples.py # 自动化执行样本库回归测试
|
||||
└── manual_verify_parsers.py # 命令行交互式/全量人工排查脚本
|
||||
```
|
||||
@@ -48,10 +48,10 @@ pytest tests/test_live_parser_samples.py -s
|
||||
```
|
||||
|
||||
### 4. 运行交互式真实样本回归验证工具
|
||||
[tests/manual_verify_parsers.py](file:///Users/leo/Projects/media-parser/tests/manual_verify_parsers.py) 支持对 43+ 个平台的多种形态(短链、长链、视频、图集等)发起真实网络请求与字段契约校验:
|
||||
[tests/manual_verify_parsers.py](file:///Users/leo/Projects/media-parser/tests/manual_verify_parsers.py) 支持对 44+ 个平台的多种形态(短链、长链、视频、图集等)发起真实网络请求与字段契约校验:
|
||||
|
||||
```bash
|
||||
# 1. 快速冒烟测试 (每个平台只测 1 条最具代表性的链接,极速完成 43 平台基准健康检查)
|
||||
# 1. 快速冒烟测试 (每个平台只测 1 条最具代表性的链接,极速完成 44 平台基准健康检查)
|
||||
python3 tests/manual_verify_parsers.py --limit 1
|
||||
|
||||
# 2. 验证指定平台的多形态覆盖 (支持重复传入多个 --platform 参数)
|
||||
|
||||
@@ -0,0 +1,100 @@
|
||||
"""配音秀作品分享页解析器。"""
|
||||
|
||||
import html
|
||||
import re
|
||||
|
||||
from bs4 import BeautifulSoup
|
||||
|
||||
from configs.logging_config import get_logger
|
||||
from src.parser_factory import register_parser
|
||||
from src.parsers.base_parser import BaseParser
|
||||
|
||||
|
||||
logger = get_logger(__name__)
|
||||
|
||||
|
||||
@register_parser("配音秀")
|
||||
class PeiyinxiuParser(BaseParser):
|
||||
"""解析配音秀公开作品页中的原始 MP4 与作品元数据。"""
|
||||
|
||||
MOBILE_UA = (
|
||||
"Mozilla/5.0 (iPhone; CPU iPhone OS 18_0 like Mac OS X) "
|
||||
"AppleWebKit/605.1.15 (KHTML, like Gecko) Version/18.0 "
|
||||
"Mobile/15E148 Safari/604.1"
|
||||
)
|
||||
|
||||
def __init__(self, real_url):
|
||||
super().__init__(real_url)
|
||||
self.headers = {"User-Agent": self.MOBILE_UA, "Referer": "https://www.peiyinxiu.com/"}
|
||||
self.title = ""
|
||||
self.cover_url = None
|
||||
self.author = {"nickname": "", "author_id": "", "avatar": ""}
|
||||
self.video_list = []
|
||||
self._parse_page()
|
||||
|
||||
def _parse_page(self):
|
||||
try:
|
||||
response = self.session.get(self.real_url, headers=self.headers, timeout=10)
|
||||
response.raise_for_status()
|
||||
self.html_content = response.text
|
||||
except Exception as exc:
|
||||
logger.warning("Failed to fetch Peiyinxiu share page: %s", exc)
|
||||
return
|
||||
|
||||
soup = BeautifulSoup(self.html_content, "lxml")
|
||||
root = soup.select_one("#wlui")
|
||||
author_id = root.get("data-uid", "") if root else ""
|
||||
title_tag = soup.select_one(".filmName")
|
||||
self.title = (
|
||||
(title_tag.get("data-title") if title_tag else None)
|
||||
or (title_tag.get_text(strip=True) if title_tag else "")
|
||||
or self._meta_content(soup, "og:title")
|
||||
or ""
|
||||
)
|
||||
author_tag = soup.select_one(".athorName span")
|
||||
avatar_tag = soup.select_one(".userHead")
|
||||
self.author = {
|
||||
"nickname": author_tag.get_text(strip=True).lstrip("@") if author_tag else "",
|
||||
"author_id": str(author_id),
|
||||
"avatar": self._absolute_url(avatar_tag.get("src")) if avatar_tag else "",
|
||||
}
|
||||
self.video_list = self._unique(self._script_value("filmurl"))
|
||||
self.cover_url = self._script_value("filmimg") or self._meta_content(soup, "og:image")
|
||||
|
||||
def _script_value(self, key):
|
||||
match = re.search(
|
||||
rf"\b{key}\s*:\s*['\"]([^'\"]+)['\"]", self.html_content or "", re.I
|
||||
)
|
||||
return self._absolute_url(html.unescape(match.group(1))) if match else None
|
||||
|
||||
@staticmethod
|
||||
def _meta_content(soup, property_name):
|
||||
tag = soup.find("meta", attrs={"property": property_name})
|
||||
return tag.get("content") if tag else None
|
||||
|
||||
@staticmethod
|
||||
def _absolute_url(url):
|
||||
if not isinstance(url, str) or not url:
|
||||
return None
|
||||
if url.startswith("//"):
|
||||
return f"https:{url}"
|
||||
return url if url.startswith(("http://", "https://")) else None
|
||||
|
||||
@staticmethod
|
||||
def _unique(url):
|
||||
return [url] if url else []
|
||||
|
||||
def get_real_video_url(self):
|
||||
return self.video_list[0] if self.video_list else None
|
||||
|
||||
def get_video_list(self):
|
||||
return self.video_list
|
||||
|
||||
def get_title_content(self):
|
||||
return self.title
|
||||
|
||||
def get_cover_photo_url(self):
|
||||
return self.cover_url
|
||||
|
||||
def get_author_info(self):
|
||||
return self.author
|
||||
@@ -1,7 +1,7 @@
|
||||
{
|
||||
"schema_version": 2,
|
||||
"description": "43 平台多形态全景自动化回归测试用例库 (涵盖短链/长链/图集/单视频/AI生成等)",
|
||||
"total_cases": 295,
|
||||
"description": "44 平台多形态全景自动化回归测试用例库 (涵盖短链/长链/图集/单视频/AI生成等)",
|
||||
"total_cases": 296,
|
||||
"cases": [
|
||||
{
|
||||
"platform": "网易云音乐",
|
||||
@@ -112,6 +112,21 @@
|
||||
"note": "2026-09-01 已验证: 酷狗移动端 MV 长链,按清晰度优先返回 MP4",
|
||||
"pattern": "MV 多清晰度"
|
||||
},
|
||||
{
|
||||
"platform": "配音秀",
|
||||
"url": "https://www.peiyinxiu.com/m/532356596",
|
||||
"media_types": [
|
||||
"video"
|
||||
],
|
||||
"expected_fields": [
|
||||
"video",
|
||||
"cover",
|
||||
"title",
|
||||
"author"
|
||||
],
|
||||
"note": "2026-09-01 已验证: 配音秀公开作品页,页面初始化数据直接提供 MP4",
|
||||
"pattern": "公开配音作品"
|
||||
},
|
||||
{
|
||||
"platform": "腾讯元宝",
|
||||
"url": "https://yb.tencent.com/s/OXzXwcr2Vk9H",
|
||||
|
||||
@@ -0,0 +1,38 @@
|
||||
import unittest
|
||||
from unittest.mock import Mock, patch
|
||||
|
||||
from src.parsers.peiyinxiu_parser import PeiyinxiuParser
|
||||
|
||||
|
||||
class PeiyinxiuParserTest(unittest.TestCase):
|
||||
URL = "https://www.peiyinxiu.com/m/535482401"
|
||||
|
||||
@patch("src.parsers.base_parser.requests.Session.get")
|
||||
def test_parses_public_work_page(self, get):
|
||||
response = Mock()
|
||||
response.raise_for_status.return_value = None
|
||||
response.text = '''
|
||||
<div id="wlui" data-fid="535482401" data-uid="186214518"></div>
|
||||
<div class="athorName"><span>@DY_苏苏</span></div>
|
||||
<img class="userHead" src="//img7.peiyinxiu.com/avatar/test.jpg">
|
||||
<div class="filmName" data-title="七夕节你怎么过?">七夕节你怎么过?</div>
|
||||
<script>PlayByShowplay.play({filmurl: 'https://video7.peiyinxiu.com/download/test.mp4', filmimg: 'https://img7.peiyinxiu.com/test.jpg'});</script>
|
||||
'''
|
||||
get.return_value = response
|
||||
parser = PeiyinxiuParser(self.URL)
|
||||
self.assertEqual(parser.get_title_content(), "七夕节你怎么过?")
|
||||
self.assertEqual(parser.get_author_info(), {"nickname": "DY_苏苏", "author_id": "186214518", "avatar": "https://img7.peiyinxiu.com/avatar/test.jpg"})
|
||||
self.assertEqual(parser.get_cover_photo_url(), "https://img7.peiyinxiu.com/test.jpg")
|
||||
self.assertEqual(parser.get_real_video_url(), "https://video7.peiyinxiu.com/download/test.mp4")
|
||||
|
||||
@patch("src.parsers.base_parser.requests.Session.get")
|
||||
def test_handles_missing_media(self, get):
|
||||
response = Mock()
|
||||
response.raise_for_status.return_value = None
|
||||
response.text = '<div id="wlui" data-uid="1"></div>'
|
||||
get.return_value = response
|
||||
self.assertIsNone(PeiyinxiuParser(self.URL).get_real_video_url())
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
unittest.main()
|
||||
@@ -195,6 +195,9 @@ class UrlParserTest(unittest.TestCase):
|
||||
self.assertEqual(UrlParser.get_platform("https://m.kugou.com/mv/?hash=abc"), "酷狗音乐")
|
||||
self.assertEqual(UrlParser.get_platform("https://m3ws.kugou.com/mv/?hash=abc"), "酷狗音乐")
|
||||
|
||||
def test_recognizes_peiyinxiu_domains(self):
|
||||
self.assertEqual(UrlParser.get_platform("https://www.peiyinxiu.com/m/535482401"), "配音秀")
|
||||
|
||||
def test_extracts_kugou_mv_hash_as_video_id(self):
|
||||
self.assertEqual(
|
||||
UrlParser.get_video_id("https://m.kugou.com/mv/?hash=48da1fe5cbe4f8774f73160042377b1e"),
|
||||
|
||||
Reference in New Issue
Block a user