mirror of
https://github.com/ucmao/media-parser.git
synced 2026-11-20 08:04:56 +08:00
14 KiB
14 KiB
Media Parser 项目技术文档与逆向百科
欢迎查阅 Media Parser 开发者文档与逆向工程知识库。
本项目是一个高性能、模块化、支持 50 个主流媒体与 AI 内容平台 的无水印音视频、图文及 LivePhoto 结构化解析引擎。
📚 文档导航
- 🔌 RESTful API 与错误码规范 (API Specification):查阅统一响应结构、鉴权方式、纯 API 微服务模式 (
API_ONLY) 及全局错误码定义表。 - 🍪 全平台 Cookie 与凭据配置 (Cookie Configuration):各平台凭证作用、精简字段推荐、F12 获取方法与防风控排查。
- 🏗️ 系统架构与生命周期 (Architecture):了解请求处理链路、302 跳转跟踪、ParserFactory 自动发现与双运行模式(SaaS vs 微服务)架构。
- 🔍 通用逆向方法论 (Reverse Engineering Guide):掌握 SSR 数据提取、H5 接口伪装、JS 签名沙箱及抓包 SOP。
- 🧪 测试与回归验证 (Testing Guide):学习 Pytest 单元测试、Mock 构造与真实样本(Live Samples)测试。
- 📖 平台实战指南 (Parser Guides):
- 短视频与轻社区:抖音 | 快手 | 今日头条 | 西瓜视频 | 皮皮虾 | 皮皮搞笑 | 最右 | 美拍 | 微视 | 绿洲 | 番茄小说/红果短剧/红果漫剧
- 图文与综合社区:小红书 | 微信公众号 | 微博 | 知乎 | 闲鱼 | Soul | 得物 | 网易LOFTER
- 长视频与电视/融媒:哔哩哔哩 | AcFun | 央视 | 央视频 | 新片场 | 好看视频 | 西瓜视频 | 剪映 | 快影
- AI 生成与大模型:豆包 AI | 星绘 AI | 腾讯元宝 | 即梦 AI | 可灵 AI | 海螺 AI | 通义千问 | 夸克 AI | 小云雀 AI | 松果时刻
- 音频与垂直频道:汽水音乐 | QQ音乐 | 网易云音乐 | 酷狗音乐 | 配音秀 | 全民K歌 | 虎牙 | 梨视频 | 微信视频号 | 腾讯频道
📊 平台支持与测试状态矩阵
图例说明:
- 🟢 免配置:无需提供任何 Cookie 或账号凭证,拉起服务即可直接解析。
- ⚠️ 部分依赖:绝大部分内容免登录,极少部分敏感/受限内容需在环境配置 Cookie。
- 🔐 必须配置:平台强校验登录态,需在
.env中提供对应 Cookie 后使用。
| 序号 | 平台名称 | 支持媒体类型 | 无水印直链 | 配置门槛 (Cookie 依赖) | 逆向提取模式 | 对应指南 |
|---|---|---|---|---|---|---|
| 1 | 抖音 | 视频 / 图文 / LivePhoto / 音频 / 字幕 / 合集 | ✅ 支持 | 🟢 免配置 | 移动端 Feed 核心通道 + Web 终态短路退避重试 + SSR 多级容灾 | 查看指南 |
| 2 | 小红书 | 图文 / LivePhoto / 视频 | ✅ 支持 | 🟢 免配置 (风控支持热配) | SSR HTML 状态注入 + 双 UA 自适应回退 | 查看指南 |
| 3 | 快手 | 视频 / 图文 / 音频 | ✅ 支持 | 🟢 免配置 (内置游客凭证) | GraphQL / H5 双端多路由 Fallback | 查看指南 |
| 4 | 哔哩哔哩 | 视频 (MP4) / 音频分流 | ✅ 支持 | 🟢 免配置 (可选高清 Cookie) | 官方 View + PlayURL API | 查看指南 |
| 5 | 豆包 AI | AI 视频 / 提示词生图 / 对话正文 | ✅ 支持 | 🔐 视频需 DOUBAO_COOKIE / 图文免配置 |
Web Session 维持 + 任务轮询 + 对话树解析 | 查看指南 |
| 6 | 即梦 AI | AI 视频 / AI 生图图集 / Prompt | ✅ 支持 | 🟢 免配置 | 移动分享端接口解析 + SPA HTML 正则提取 | 查看指南 |
| 7 | 可灵 AI | AI 视频生成直链 | ✅ 支持 | 🟢 免配置 | 快手可灵 H5 分享接口 | 查看指南 |
| 8 | 海螺 AI | AI 视频直链 / Prompt / 参考帧 | ✅ 支持 | 🟢 免配置 | Next.js Flight SSR 流式渲染解析 | 查看指南 |
| 9 | 通义千问 | AI 图文 / 图像生成 | ✅ 支持 | 🟢 免配置 | React SPA API 逆向 + HTML SSR 兜底 | 查看指南 |
| 10 | 夸克 AI | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 夸克 H5 分享路由解析 | 查看指南 |
| 11 | 小云雀 AI | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 剪映小云雀分享端 | 查看指南 |
| 12 | 腾讯元宝 | AI 生图 / 图片编辑 / AI 视频 | ⚠️ 含原生水印 | 🟢 公开分享免配置 | Next.js SSR 对话数据提取 | 查看指南 |
| 13 | 微博 | 视频 / 直播回放 / 微博正文 / 多图 | ✅ 支持 | 🟢 免配置 (可选 Cookie 防风控) | 移动端 H5 接口 + 直播组件 + Base62 解码 | 查看指南 |
| 14 | 知乎 | 专栏文章 / 视频 (Video Pin) / 想法 / 问答 | ✅ 支持 | 🟢 免配置 (可选 Cookie 防风控) | Web API 多路由正则提取 + SSR 容灾兜底 | 查看指南 |
| 15 | 皮皮虾 | 视频 / 图文 | ✅ 支持 | 🟢 免配置 | H5 接口数据解析 | 查看指南 |
| 16 | 皮皮搞笑 | 视频 / 图集 | ✅ 支持 | 🟢 免配置 | H5 分享接口解析 | 查看指南 |
| 17 | 最右 | 视频 / 图集 | ✅ 支持 | 🟢 免配置 | H5 接口键值映射提取 | 查看指南 |
| 18 | AcFun | 视频 (m3u8/MP4) | ✅ 支持 | 🟢 免配置 | KSPlayer 播放器参数还原 | 查看指南 |
| 19 | 汽水音乐 | UGC 视频 / 背景原声 | ✅ 支持 | 🟢 免配置 | 字节系分享 API | 查看指南 |
| 20 | 全民K歌 | 视频 / 伴奏音频 | ✅ 支持 | 🟢 免配置 | H5 播放页正则提取 | 查看指南 |
| 21 | 虎牙 | 视频 / 录播 | ✅ 支持 | 🟢 免配置 | 移动端短链解析 | 查看指南 |
| 22 | 微信视频号 | 视频 / 图集 / 原声音频 | ✅ 支持 | 🔐 需 YUANBAO_COOKIE (媒体流/图集) | 视频号短链 + 腾讯元宝双轨解析 | 查看指南 |
| 23 | 腾讯视频/频道 | 视频 | ✅ 支持 | 🟢 免配置 | 企鹅频道分享解析 | 查看指南 |
| 24 | 西瓜视频 | 视频 | ✅ 支持 | 🟢 免配置 | 移动端 SSR + 字节 VOD + 抖音链路兜底 | 查看指南 |
| 25 | 今日头条 | 视频 / 微头条图文 / 图文长文配图 | ✅ 支持 | 🟢 免配置 | 移动端 SSR + 字节 VOD + 微头条归一化 + 抖音链路兜底 | 查看指南 |
| 26 | 新片场 | 高清视频 | ✅ 支持 | 🟢 免配置 | Next.js SSR 播放页提取 | 查看指南 |
| 27 | 好看视频 | 百度短视频 | ✅ 支持 | 🟢 免配置 | 百度视频落地页提取 | 查看指南 |
| 28 | 美拍 | 视频 | ✅ 支持 | 🟢 免配置 | 网页 MP4 流还原 | 查看指南 |
| 29 | 微视 | 腾讯微视视频 | ✅ 支持 | 🟢 免配置 | 微视开放接口 | 查看指南 |
| 30 | 绿洲 | 新浪绿洲图文 | ✅ 支持 | 🟢 免配置 | 微博绿洲 H5 提取 | 查看指南 |
| 31 | 闲鱼 | 商品图集 / 视频 / 宝贝详情与标价 | ✅ 支持 | 🟢 免配置 | 移动端 H5 MTOP 签名 + 淘系短链解析 | 查看指南 |
| 32 | Soul | 视频 / 瞬间 | ✅ 支持 | 🟢 免配置 | Web 话题页解析 | 查看指南 |
| 33 | 剪映 / CapCut | 模板视频 / Web协作视频 | ✅ 支持 | 🟢 免配置 | 字节剪映 & CapCut 协作 API | 查看指南 |
| 34 | 梨视频 | 资讯短视频 | ✅ 支持 | 🟢 免配置 | 动态防盗链时间戳解密 | 查看指南 |
| 35 | 快影 | 模板视频 / 原声音乐 | ✅ 支持 | 🟢 免配置 | 快影 OpenAPI + 动态签名 | 查看指南 |
| 36 | 微信公众号 | 视频 / 文章插图图集 / 音频 | ✅ 支持 | 🟢 免配置 | SSR 正文解析 + 1080P 视频流提取与原画升级 | 查看指南 |
| 37 | 拼多多 | 多多视频 / 商品图集 / 实物原图 | ✅ 支持 | 🟡 视频需 Cookie / 商品免配置 | anti-content 动态验签 + 307 素材提取 | 查看指南 |
| 38 | 番茄小说 | 短剧视频 | ✅ 支持 | 🟢 免配置 | H5 推广页提取 + 官网播放器完整分集置换 | 查看指南 |
| 39 | 红果短剧 | 短剧视频 | ✅ 支持 | 🟢 免配置 | H5 推广页提取 + 官网播放器完整分集置换 | 查看指南 |
| 40 | 红果漫剧 | 漫剧/短剧视频 | ✅ 支持 | 🟢 免配置 | H5 推广页提取 + 官网播放器完整分集置换 | 查看指南 |
| 41 | QQ音乐 | 歌曲音频 / LRC 歌词 / MV / 多档 MP4 | ✅ 支持 | 🟢 免配置 | PC Web 协议 + MusicU 播放与歌词接口 | 查看指南 |
| 42 | 网易云音乐 | MV / Mlog / 歌曲 / 动态图集与 LivePhoto | ✅ 支持 | 🟢 公开内容免配置 | SSR / Event 数据 + 公开播放接口 | 查看指南 |
| 43 | 酷狗音乐 | MV / 免费歌曲 / 多档 MP4 | ✅ 支持 | 🟢 公开内容免配置 | H5 公开接口签名 + 分享页数据 | 查看指南 |
| 44 | 配音秀 | 配音作品视频 (MP4) | ✅ 支持 | 🟢 公开内容免配置 | 作品页初始化数据提取 | 查看指南 |
| 45 | 松果时刻 | AI 故事多页视频 / 图集 / 配音 | ✅ 支持 | 🟢 公开内容免配置 | 公开详情接口 | 查看指南 |
| 46 | 得物 | 潮流穿搭 / 开箱短视频 / 高清图集 | ✅ 支持 | 🟢 免配置 | Next.js metaOGInfo 数据提取 | 查看指南 |
| 47 | 网易LOFTER | 二次元插画 / 摄影图集 / 创作者短视频 | ✅ 支持 | 🟢 免配置 | window.initialize_data 数据提取 | 查看指南 |
| 48 | 星绘 AI | AI 生图 / 原画写真 / AI 视频 | ✅ 支持 | 🟢 免配置 | 字节分享 API (Community Service) | 查看指南 |
| 49 | 央视 | 栏目视频 (HLS/m3u8) / 央视新闻微视频 | ✅ 支持 | 🟢 免配置 | CNTV 调度接口 + 阿里云 API 网关 HMAC-SHA256 验签 | 查看指南 |
| 50 | 央视频 | 微视频 / 微短剧 / 高清封面与作者信息 | ✅ 支持 | 🟢 免配置 | 页面 SSR 状态机 (STATE) 提取与 Meta 跳转跟踪 | 查看指南 |
⚡ 快速开始
1. 安装依赖
# 建议使用 Python 3.10+
pip install -r requirements.txt
2. 环境变量与 Cookie 配置 (可选,开箱即用)
本项目绝大部分平台完全免 Cookie 开箱即用。如需增强特定平台的高清流或防风控能力,复制 .env.example 为 .env 按需配置:
cp .env.example .env
# 1. 豆包无水印视频 (可选,用于获取 1080P 原始无水印视频)
DOUBAO_COOKIE="sessionid_ss=your_doubao_sessionid_ss"
# 2. 微信视频号高清流 (可选,提取视频号原始流、图集与原声音频,建议使用小号)
YUANBAO_COOKIE="hy_user=xxx; hy_token=yyy;"
# 3. 小红书防风控 / 高频解析 (可选,解决服务器 IP 遭遇的 302 登录拦截)
XHS_COOKIE="a1=xxx; webId=yyy; web_session=zzz;"
# 4. 抖音 LivePhoto 实况流 / 放映厅 (可选,常规短视频免 Cookie 毫秒级直出;云端提取实况动图流可填入含 UIFID 的 Cookie)
DOUYIN_COOKIE="UIFID=xxx; passport_csrf_token=yyy;"
# 5. 拼多多多多视频 (可选,用于多多短视频信息流原画解析)
PINDUODUO_COOKIE="PDDAccessToken=xxx;"
3. 运行服务
# 开发环境启动 (端口 8051)
python app.py
# 访问 Web 演示前台:http://127.0.0.1:8051/
# 测试健康检查:http://127.0.0.1:8051/api/health
⚖️ 免责声明 (Disclaimer)
本项目所有代码和文档仅用于网络技术研究、接口逆向工程学习与防御性安全交流。 使用者请遵守各目标平台的《用户服务协议》与相关法律法规,不得用于任何形式的商业盈利抓取或恶意攻击行为。因使用本工具造成的任何直接或间接法律责任由使用者自行承担。