精简免登录平台Cookie依赖,规范公开接口与文档配置

This commit is contained in:
ucmao
2026-09-14 20:49:01 +08:00
parent 6b7d31025d
commit f4c6cf2781
12 changed files with 33 additions and 172 deletions
+1 -6
View File
@@ -38,12 +38,7 @@ XHS_COOKIE=''
# 日常 99%+ 的普通短视频、图文笔记、LivePhoto、原声音乐等完全免 Cookie 匿名直出。
DOUYIN_COOKIE=''
# 5. 哔哩哔哩高码率 (可选,用于提取 1080P 高码率/4K 及大会员专享番剧正片)
# 精简格式至少包含 `SESSDATA=xxx; bili_jct=yyy`。
# 未配置时仍可完全免登录获取 720P/1080P 官方基础音视频流。
BILIBILI_COOKIE=''
# 6. 拼多多多多视频 (可选,用于多多视频短视频信息流原画解析)
# 5. 拼多多多多视频 (可选,用于多多视频短视频信息流原画解析)
# 登录 mobile.yangkeduo.com 移动端后获取,精简格式至少包含 `PDDAccessToken=xxx`。
# 未配置时仍可免 Cookie 解析商品图集与评价秀实物素材。
PINDUODUO_COOKIE=''
+15 -8
View File
@@ -8,6 +8,7 @@
<p align="center">
<a href="#-核心特性">核心特性</a> •
<a href="#-支持的平台矩阵">支持平台</a> •
<a href="#-项目原则与免责声明">项目原则</a> •
<a href="#-部署指南">部署指南</a> •
<a href="#-api-接口">API 接口</a> •
<a href="#-自动化测试与健康自检">测试自检</a> •
@@ -47,7 +48,7 @@ Media-Parser是一款专为短视频创作者与开发者打造的**100%原生
| **哔哩哔哩** | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | | | | [查看](docs/parsers/bilibili.md) |
| **豆包** | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | | ✓ | | [查看](docs/parsers/doubao.md) |
| **即梦AI** | ✓ | ✓ | ✓ | ✓ | ✓* | ✓ | ✓ | | | | [查看](docs/parsers/jimeng.md) |
| **小云雀AI** | ✓ | ✓ | ✓ | ✓ | ✓* | ✓ | | | | | [查看](docs/parsers/xiaoyunque.md) |
| **小云雀AI** | ✓ | ✓ | ✓ | ✓* | ✓* | ✓ | | | | | [查看](docs/parsers/xiaoyunque.md) |
| **可灵AI** | ✓ | ✓ | | ✓ | ✓ | | | | | | [查看](docs/parsers/kling.md) |
| **海螺AI** | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | | | | | [查看](docs/parsers/hailuo.md) |
| **夸克AI** | ✓ | ✓ | | ✓ | ✓ | ✓ | | | | | [查看](docs/parsers/quark-ai.md) |
@@ -90,7 +91,7 @@ Media-Parser是一款专为短视频创作者与开发者打造的**100%原生
| **央视** | ✓ | ✓ | | ✓ | ✓ | | | | | | [查看](docs/parsers/cctv.md) |
| **央视频** | ✓ | ✓ | | ✓ | ✓ | ✓ | | | | | [查看](docs/parsers/yangshipin.md) |
注:带 `*` 的项表示支持提取官方最高画质直链,但受平台生成或导出机制限制,该素材目前仍保留官方原生水印;未带 `*` 的项均为无水印素材。
说明:带 `*` 的项表示该素材目前仍保留官方原生水印,未带 `*` 的项均为无水印素材。
---
@@ -113,9 +114,7 @@ cp .env.example .env
* 用于解决小红书网页端针对服务器机房 IP 匿名抓取可能遭遇的 302 登录拦截。推荐精简 Cookie 配置 `a1=xxx; webId=xxx; web_session=xxx`。日常默认无需 Cookie 即可直接匿名解析。
4. **抖音放映厅长视频 (`DOUYIN_COOKIE`)**:
* 仅在解析放映厅/影视长片/演唱会大片等强风控内容时才需要配置。推荐精简 Cookie 配置 `s_v_web_id=xxx; __ac_nonce=xxx`,该字段仅为字节安全 SDK 的人机风控通行证。日常 99%+ 的普通短视频、图文笔记、LivePhoto、原声音乐等完全免 Cookie 匿名解析。
5. **哔哩哔哩高码率 (`BILIBILI_COOKIE`)**:
* 用于提取 1080P 高码率/4K 及大会员专享番剧正片。推荐精简 Cookie 配置 `SESSDATA=xxx; bili_jct=yyy;`。未配置时仍可完全免登录获取 720P/1080P 官方基础流与音频。
6. **拼多多多多视频 (`PINDUODUO_COOKIE`)**:
5. **拼多多多多视频 (`PINDUODUO_COOKIE`)**:
* 用于解析多多视频(短视频)原画。登录 `mobile.yangkeduo.com`(拼多多移动端)后获取,推荐精简 Cookie 配置 `PDDAccessToken=xxx`。未配置时仍可免 Cookie 解析商品图集与评价秀素材。
### Docker 部署(推荐)
@@ -269,9 +268,17 @@ python3 tests/manual_verify_parsers.py --platform "小云雀AI"
---
## ⚖️ 开源协议 & 免责声明
## 🛡️ 项目原则与免责声明
1. 本项目基于 **[MIT LICENSE](LICENSE)** 协议开源。
2. **免责声明**:本项目所有代码和文档仅用于网络技术研究、接口逆向工程学习与防御性安全交流。使用者请遵守各目标平台的《用户服务协议》与相关法律法规,不得用于任何形式的商业盈利抓取或恶意攻击行为。因使用本工具造成的任何直接或间接法律责任由使用者自行承担。
### 1. 核心设计原则与边界红线
本项目定位为**短视频创作者素材辅助工具与底层网络协议研究**,严格恪守以下原则与红线:
* **仅限公开 UGC 内容**:仅解析普通用户公开发布的短视频、图集素材,**不支持**任何私密、好友可见等未公开内容。
* **拒绝 VIP / 付费破解**:**不解析**任何会员专享、单点付费、付费短剧等收费内容;系统不依赖亦不索取任何付费/VIP Cookie。
* **不支持版权长视频**:专注于短视频生态,**坚决不做**任何爱优腾芒、Netflix、电影、电视剧等长视频版权内容的嗅探与破解。
* **纯粹协议逆向,无破坏性**:不破坏 DRM 加密流,不从事任何黑产或恶意绕过行为。如遇平台接口调整或合规要求,将主动调整或下线对应解析模块。
### 2. 开源协议 & 法律合规
* 本项目基于 **[MIT LICENSE](LICENSE)** 协议开源。
* **免责声明**:本项目所有代码和文档仅用于网络技术研究、接口逆向工程学习与防御性安全交流。使用者请遵守各目标平台的《用户服务协议》与相关法律法规,不得用于任何形式的商业侵权抓取或恶意攻击行为。因使用本工具造成的任何直接或间接法律责任由使用者自行承担。
---
-1
View File
@@ -29,4 +29,3 @@ services:
- DOUBAO_COOKIE=${DOUBAO_COOKIE:-}
- YUANBAO_COOKIE=${YUANBAO_COOKIE:-}
- PINDUODUO_COOKIE=${PINDUODUO_COOKIE:-}
- BILIBILI_COOKIE=${BILIBILI_COOKIE:-}
+1 -4
View File
@@ -112,10 +112,7 @@ XHS_COOKIE="a1=xxx; webId=yyy; web_session=zzz;"
# 4. 抖音放映厅长视频 (可选,仅在解析 /lvdetail/ 长片时需要)
DOUYIN_COOKIE="s_v_web_id=verify_xxx; __ac_nonce=xxx;"
# 5. 哔哩哔哩高码率 (可选,用于提取 1080P+ 高码率/4K 及大会员专区番剧)
BILIBILI_COOKIE="SESSDATA=xxx; bili_jct=yyy;"
# 6. 拼多多多多视频 (可选,用于多多短视频信息流原画解析)
# 5. 拼多多多多视频 (可选,用于多多短视频信息流原画解析)
PINDUODUO_COOKIE="PDDAccessToken=xxx;"
```
+1 -2
View File
@@ -18,8 +18,7 @@
* 番剧/剧集长链:`https://www.bilibili.com/bangumi/play/ep1231565`、`https://www.bilibili.com/bangumi/play/ss12345`
* 动态/Opus 链接:`https://t.bilibili.com/1245189054385881096` 或 `https://www.bilibili.com/opus/1245189054385881096`
* **Cookie 依赖**:
* **公开视频基础流**:**无需 Cookie**(默认获取 720P/1080P HTML5 基础流)。
* **高清/大会员高码率流(可选)**:如需更高清晰度,可在 `.env` 中配置 `BILIBILI_COOKIE="SESSDATA=xxx; bili_jct=yyy;"`。
* **完全免 Cookie**:免登录直接获取 720P/1080P HTML5 基础流、番剧预告/公开剧集及图文动态。
---
+10 -65
View File
@@ -1,6 +1,6 @@
# 小云雀 AI (Xiaoyunque) 逆向解析指南
本篇详细记录字节跳动剪映旗下 **小云雀 AI (xiaoyunque.jianying.com / xyq.jianying.com)** 作品的接口抓取机制、底层 VOD 视频分发流、水印压制机制与双轨逆向解析算法。
本篇详细记录字节跳动剪映旗下 **小云雀 AI (xiaoyunque.jianying.com / xyq.jianying.com)** 作品的接口抓取机制、底层 VOD 视频分发流、水印压制机制与免登录逆向解析算法。
---
@@ -9,21 +9,21 @@
* **平台标识**:`小云雀AI`
* **支持媒体类型**:
* **AI 生图 / 创作图集** (PNG/JPEG,100% 官方原始纯净无水印原图)
* **AI 创作高清视频** (MP4,最高 9.4 Mbps 原画,支持去除左上角 AI 标识)
* **AI 创作高清视频** (MP4 高清播放流与备选流列表)
* **提示词文案** (完整的 Prompt 提示词、标题、封面及创作者元数据)
* **常见链接形态**:
* 分享短链:`https://xiaoyunque.jianying.com/s/ebmxLzUc87I/`
* 落地页长链:`https://xiaoyunque.jianying.com/activities/pippit_share?inspiration_id=7647057288208977177&...`
* **Cookie 依赖**:公开短链**完全无需 Cookie** 即可匿名解析;配置 `XIAOYUNQUE_COOKIE` 可激活创作者超清去标通道。
* **Cookie 依赖**:**完全无需 Cookie**,全匿名免登录解析。
> [!NOTE]
> **水印与素材状态说明**:
> 1. **AI 生图 / 图集**:从字节 TOS 存储桶中直接提取官方原始图(`origin_aigc`),**100% 完全无水印**。
> 2. **AI 生成视频**:平台在云端渲染合成时直接把水印压制在 MP4 画面像素中。解析器配置 Cookie 时自动优先提取已去除左上角「AI生成」黑框的 **9.4 Mbps 创作者原画流**(仅保留右下角小云雀微标);公开免登录模式下自动回退至 H5 落地页通道。
> 2. **AI 生成视频**:平台在云端渲染合成时直接把水印压制在 MP4 画面像素中。解析器通过公开落地页通道直接提取高清视频播放流与备选流列表。视频封面也带有水印,为压水印视频的抽帧截图。
---
## 2. 核心架构与双轨自适应解析流程
## 2. 核心架构与解析流程
```mermaid
sequenceDiagram
@@ -31,76 +31,21 @@ sequenceDiagram
participant Client as 调用方
participant Parser as XiaoyunqueParser
participant Redirect as 302 重定向服务
participant BizAPI as 创作者详情接口 (get_inspiration_detail)
participant LandingAPI as 公开落地页 (landing_page)
Client->>Parser: 输入分享短链 (如 /s/ebmxLzUc87I/)
Parser->>Redirect: HTTP GET 获取 302 Location
Redirect-->>Parser: 提取 query_params (含 inspiration_id, share_id 等)
alt 已配置 XIAOYUNQUE_COOKIE
Parser->>BizAPI: POST /api/biz/v1/inspiration/get_inspiration_detail
BizAPI-->>Parser: 返回 watermark_video_info
Note over Parser: 优先提取 brand_user_url (9.4 Mbps,无左上角 AI 标)
else 未配置 Cookie / 创作者接口请求失败
Parser->>LandingAPI: POST /luckycat/cn/jianying/campaign/v1/pippit/share/landing_page
LandingAPI-->>Parser: 返回 page_info (兼容 inspiration / generate / gugu 等模板)
end
Parser->>LandingAPI: POST /luckycat/cn/jianying/campaign/v1/pippit/share/landing_page
LandingAPI-->>Parser: 返回 page_info (兼容 inspiration / generate / template / gugu 等模板)
Parser->>Client: 统一返回标准 JSON (视频、图集、Prompt、作者元数据)
```
---
## 3. 视频流类型与底层逆向分析
## 3. 接口规范与参数清洗
小云雀视频采用字节跳动 VOD (Video On Demand) 视频云分发体系,服务端在完成视频生成后会产出多路物理文件:
| 视频流字段 / 类型 | 码率 / 分辨率 | 水印状态 | 解析器处理策略 |
| :--- | :---: | :--- | :--- |
| **`brand_user_url`** (创作者流) | **9.4 Mbps (720P/1080P)** | **无左上角「AI生成」黑框**,仅保留右下角微标 | **Cookie 模式下作为默认主视频 (`video_url`) 输出** |
| **`share_url`** (分享流) | ~9.4 Mbps | 左上角带「AI生成」框,右下角无标 | 备选流,放入 `video_list` |
| **`download_url` / `brand_url`** | ~9.4 Mbps | 左上角「AI生成」+ 右下角「小云雀」双水印 | 备选流,放入 `video_list` |
| **`ai_url`** (预览流) | ~6.4 Mbps (720P) | 带官方基础预览水印 | 免登录兜底流 |
| **母带原始渲染流** (如 `7cef...`) | 原画 | 100% 纯净(无任何角标) | **受作者账号 UID 权限保护**(见下文说明) |
### 底层母带权限边界分析 (UID Security Boundary)
通过对 Web 前端源码(`main.e10fbb27b2.js`)及后端 RPC 服务逆向发现:
* 原始 100% 纯净母带渲染任务(`videogen/batch_get_render_task` / `get_published_inspiration_detail`)在后端 RPC 微服务(`pippit.business.editor`)层面进行了严格的用户归属鉴权:
```json
{"ret":"10007","errmsg":"RPCError{PSM:[pippit.business.editor] Method:[CheckRenderTask] BizStatusMessage:[uid not equal]}"}
{"ret":"2","errmsg":"uid not own inspiration"}
```
* **结论**:普通访客或跨账号请求无法直接获取母带播放签名。解析器通过 `get_inspiration_detail` 提取的 `brand_user_url` 是当前非作者本号跨端获取的最佳清晰度与最少水印版本。
---
## 4. 接口规范与参数清洗
### 4.1 创作者灵感详情接口(优先,需 Cookie)
* **接口地址**:
`POST https://xyq.jianying.com/api/biz/v1/inspiration/get_inspiration_detail`
* **请求头**:
```http
Accept: application/json, text/plain, */*
Content-Type: application/json
Appid: 795647
pf: 7
appvr: 5.8.0
Cookie: <XIAOYUNQUE_COOKIE>
```
* **请求体**:
```json
{
"inspiration_id_list": ["7647057288208977177"]
}
```
* **核心字段提取**:
* `data.inspiration_list[0].prompt`:完整 Prompt 提示词。
* `data.inspiration_list[0].watermark_video_info.brand_user_url`:无左上角 AI 标原画视频。
* `data.inspiration_list[0].watermark_image_info`:高清图片。
### 4.2 公开落地页接口(兜底,免 Cookie)
### 公开落地页接口(免 Cookie)
* **接口地址**:
`POST https://xiaoyunque.jianying.com/luckycat/cn/jianying/campaign/v1/pippit/share/landing_page`
* **模板多态兼容**:
@@ -112,7 +57,7 @@ sequenceDiagram
---
## 5. 测试与验证
## 4. 测试与验证
* **单元测试**:[tests/test_xiaoyunque_parser.py](file:///Users/leo/Projects/media-parser/tests/test_xiaoyunque_parser.py)
* **执行测试**:
-4
View File
@@ -7,7 +7,6 @@ import requests
from configs.general_constants import USER_AGENT_PC
from configs.logging_config import get_logger
from src.parsers.base_parser import BaseParser
from src.utils.cookie_manager import get_platform_cookie
from utils.web_fetcher import UrlParser
logger = get_logger(__name__)
@@ -29,9 +28,6 @@ class BilibiliParser(BaseParser):
"User-Agent": random.choice(USER_AGENT_PC),
"Referer": "https://www.bilibili.com/",
}
cookie = get_platform_cookie("bilibili")
if cookie:
self.headers["Cookie"] = cookie
self.bvid = self._extract_bvid(real_url)
self.ep_id = self._extract_ep_id(real_url)
self.season_id = self._extract_season_id(real_url) if not self.ep_id else None
+1 -73
View File
@@ -5,8 +5,6 @@ from urllib.parse import parse_qs, urlparse
from configs.logging_config import get_logger
from src.parsers.base_parser import BaseParser
from src.utils.cookie_manager import get_platform_cookie
logger = get_logger(__name__)
@@ -16,7 +14,6 @@ class XiaoyunqueParser(BaseParser):
"""通过小云雀官方接口解析 xiaoyunque.jianying.com 分享链接。"""
API_URL = "https://xiaoyunque.jianying.com/luckycat/cn/jianying/campaign/v1/pippit/share/landing_page"
BIZ_DETAIL_API = "https://xyq.jianying.com/api/biz/v1/inspiration/get_inspiration_detail"
USER_AGENT = (
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
@@ -25,14 +22,11 @@ class XiaoyunqueParser(BaseParser):
def __init__(self, real_url):
super().__init__(real_url)
self.cookie = get_platform_cookie("xiaoyunque")
self.headers = {
"Accept": "application/json, text/plain, */*",
"Content-Type": "application/json",
"User-Agent": self.USER_AGENT,
}
if self.cookie:
self.headers["Cookie"] = self.cookie
self.data = {
"title": "",
"desc": None,
@@ -66,28 +60,7 @@ class XiaoyunqueParser(BaseParser):
logger.warning(f"Unable to extract Xiaoyunque query parameters from URL: {self.real_url}")
return
# 1. 若配置了 Cookie,优先尝试请求高码率/下载流接口
inspiration_id = qdict.get("inspiration_id") or qdict.get("template_id")
if self.cookie and inspiration_id:
try:
biz_resp = self.session.post(
self.BIZ_DETAIL_API,
headers=self.headers,
json={"inspiration_id_list": [str(inspiration_id)]},
timeout=15,
)
if biz_resp.status_code == 200:
biz_data = biz_resp.json().get("data") or {}
insp_list = biz_data.get("inspiration_list") or biz_data.get("inspirations") or []
if insp_list and isinstance(insp_list[0], dict):
formatted_biz = self._format_biz_data(insp_list[0])
if formatted_biz.get("video_url") or formatted_biz.get("image_list"):
self.data.update(formatted_biz)
return
except Exception as biz_exc:
logger.debug(f"Xiaoyunque biz detail query failed, falling back to landing_page: {biz_exc}")
# 2. 公开免登录 H5 landing_page 接口兜底
# 公开免登录 H5 landing_page 接口
response = self.session.post(
self.API_URL,
headers=self.headers,
@@ -103,51 +76,6 @@ class XiaoyunqueParser(BaseParser):
except Exception as exc:
logger.exception(f"Failed to parse Xiaoyunque share: {exc}")
@classmethod
def _format_biz_data(cls, insp):
author_info = insp.get("author_info") or {}
wm_video = insp.get("watermark_video_info") or {}
primary_video = (
wm_video.get("brand_user_url")
or wm_video.get("download_url")
or wm_video.get("brand_url")
or wm_video.get("share_url")
or wm_video.get("ai_url")
)
video_list = []
for key in ("brand_user_url", "download_url", "brand_url", "share_url", "ai_url"):
val = wm_video.get(key)
if val and val not in video_list:
video_list.append(val)
title = insp.get("title") or insp.get("prompt")
desc = insp.get("prompt") or insp.get("title")
# 图片信息
wm_image = insp.get("watermark_image_info") or {}
image_list = []
for key in ("download_url", "brand_url", "share_url", "ai_url", "origin_url"):
val = wm_image.get(key)
if val and val not in image_list:
image_list.append(val)
cover_info = insp.get("cover_info") or {}
cover_url = cover_info.get("cover_image_url") or insp.get("cover_url") or insp.get("cover")
return {
"title": title,
"desc": desc,
"video_url": primary_video,
"video_list": video_list,
"cover_url": cover_url,
"author": {
"nickname": author_info.get("nickName") or author_info.get("nickname") or "",
"author_id": str(author_info.get("id") or insp.get("uid") or ""),
"avatar": author_info.get("avatar") or author_info.get("avatar_url") or "",
},
"image_list": image_list,
}
@classmethod
def _format_data(cls, data):
page_info = data.get("page_info") or {}
-3
View File
@@ -10,11 +10,8 @@ PLATFORM_COOKIE_ALIASES = {
"wechat_channels": ["YUANBAO_COOKIE", "WECHAT_CHANNELS_COOKIE"],
"doubao": ["DOUBAO_COOKIE"],
"jimeng": ["JIMENG_COOKIE"],
"bilibili": ["BILIBILI_COOKIE", "BILI_COOKIE"],
"weibo": ["WEIBO_COOKIE"],
"kuaishou": ["KUAISHOU_COOKIE", "KS_COOKIE"],
"xiaoyunque": ["XIAOYUNQUE_COOKIE", "XYQ_COOKIE", "PIPPIT_COOKIE"],
"xyq": ["XIAOYUNQUE_COOKIE", "XYQ_COOKIE", "PIPPIT_COOKIE"],
}
+3 -4
View File
@@ -317,7 +317,6 @@
],
"expected_fields": [
"images",
"cover",
"title",
"author"
],
@@ -4566,7 +4565,7 @@
},
{
"platform": "小云雀AI",
"url": "https://xiaoyunque.jianying.com/s/eguwTcLQIxw/",
"url": "https://xiaoyunque.jianying.com/s/pheQJnrdFoM/ AA7046",
"media_types": [
"video"
],
@@ -4575,8 +4574,8 @@
"title",
"author"
],
"note": "2026-09-14 已验证: 小云雀灵感创作与壁纸生成分享",
"pattern": "灵感创作与壁纸生成"
"note": "2026-09-14 已验证: 裸眼3D触屏视频及完整提示词分享",
"pattern": "灵感创作与修仙视频生成"
},
{
"platform": "微博",
+1 -1
View File
@@ -38,7 +38,7 @@ def collect_media(parser):
"video": bool(video_url or video_list),
"audio": bool(call("get_audio_url", None)),
"cover": bool(call("get_cover_photo_url", None)),
"title": bool(call("get_title_content", "")),
"title": bool(call("get_title_content", "") or call("get_description", "")),
"author": bool(call("get_author_info", {})),
"images": bool(image_list),
"live_media": any(
-1
View File
@@ -32,7 +32,6 @@ class CookieManagerTest(unittest.TestCase):
self.assertIn("doubao", PLATFORM_COOKIE_ALIASES)
self.assertIn("yuanbao", PLATFORM_COOKIE_ALIASES)
self.assertIn("pinduoduo", PLATFORM_COOKIE_ALIASES)
self.assertIn("bilibili", PLATFORM_COOKIE_ALIASES)
if __name__ == "__main__":