mirror of
https://github.com/ucmao/media-parser.git
synced 2026-11-20 08:04:56 +08:00
修复小红书视频笔记带水印问题
This commit is contained in:
+21
-21
@@ -41,32 +41,32 @@
|
||||
|
||||
```mermaid
|
||||
flowchart TD
|
||||
A[输入抖音分享链接] --> B[重定向提取类型与 ID]
|
||||
B --> C{链接类型判定}
|
||||
C -- 独立音乐 --> M1[请求 Music Detail API]
|
||||
C -- 连载合集 --> K1[请求 Mix Aweme API]
|
||||
C -- 放映厅长片 --> L1[请求 LVideo Detail API / 解析 PC 端 lvdetail]
|
||||
C -- 普通视频/图文 --> F0[优先请求移动端 Feed API\n免 Argus 门禁 / 免 Cookie / 毫秒级直出]
|
||||
A["输入抖音分享链接"] --> B["重定向提取类型与 ID"]
|
||||
B --> C{"链接类型判定"}
|
||||
C -->|"独立音乐"| M1["请求 Music Detail API"]
|
||||
C -->|"连载合集"| K1["请求 Mix Aweme API"]
|
||||
C -->|"放映厅长片"| L1["请求 LVideo Detail API / 解析 PC 端 lvdetail"]
|
||||
C -->|"普通视频/图文"| F0["优先请求移动端 Feed API<br/>免 Argus 门禁 / 免 Cookie / 毫秒级直出"]
|
||||
|
||||
F0 --> F1{Feed 匹配成功?}
|
||||
F1 -- 成功 (常规视频 >95%) --> E[提取高清流 / 图集 / 字幕 / 音频]
|
||||
F1 -- 节点正常但未匹配 (Note/私密) --> D1[回退 Web 详情 API\na_bogus 签名 + 动态指数退避重试]
|
||||
F0 --> F1{"Feed 匹配成功?"}
|
||||
F1 -->|"成功 (常规视频 >95%)"| E["提取高清流 / 图集 / 字幕 / 音频"]
|
||||
F1 -->|"节点正常但未匹配 (Note/私密)"| D1["回退 Web 详情 API<br/>a_bogus 签名 + 动态指数退避重试"]
|
||||
|
||||
D1 --> D2{Web API 响应判定}
|
||||
D2 -- 成功 (图文等) --> E
|
||||
D2 -- 明确终态 (私密/已删除/日常权限) --> H[智能短路: 立即终止重试并跳过SSR\n透传官方 filter_detail 原因]
|
||||
D2 -- 遭遇 403/500/网络抖动 --> D3{重试是否耗尽 (最多8次)?}
|
||||
D3 -- 否 --> D1
|
||||
D3 -- 是 --> F[触发 SSR HTML 多级降级]
|
||||
D1 --> D2{"Web API 响应判定"}
|
||||
D2 -->|"成功 (图文等)"| E
|
||||
D2 -->|"明确终态 (私密/已删除/日常权限)"| H["智能短路: 立即终止重试并跳过SSR<br/>透传官方 filter_detail 原因"]
|
||||
D2 -->|"遭遇 403/500/网络抖动"| D3{"重试是否耗尽 (最多8次)?"}
|
||||
D3 -->|"否"| D1
|
||||
D3 -->|"是"| F["触发 SSR HTML 多级降级"]
|
||||
|
||||
L1 --> F
|
||||
M1 -- 失败 --> F
|
||||
K1 -- 失败 --> F
|
||||
M1 -->|"失败"| F
|
||||
K1 -->|"失败"| F
|
||||
|
||||
F --> G1[解析 __UNIVERSAL_DATA_FOR_REHYDRATION__]
|
||||
G1 -- 未匹配 --> G2[解析 RENDER_DATA URL 编码]
|
||||
G2 -- 未匹配 --> G3[正则匹配 _ROUTER_DATA / _SSR_DATA]
|
||||
G3 -- 未匹配 --> G4[解析 self.__pace_f.push 流式 SSR]
|
||||
F --> G1["解析 __UNIVERSAL_DATA_FOR_REHYDRATION__"]
|
||||
G1 -->|"未匹配"| G2["解析 RENDER_DATA URL 编码"]
|
||||
G2 -->|"未匹配"| G3["正则匹配 _ROUTER_DATA / _SSR_DATA"]
|
||||
G3 -->|"未匹配"| G4["解析 self.__pace_f.push 流式 SSR"]
|
||||
G4 --> E
|
||||
```
|
||||
|
||||
|
||||
@@ -61,12 +61,15 @@ if match:
|
||||
|
||||
### 3.1 视频笔记无水印提取
|
||||
解析器通过分级策略提取视频无水印直链(由高到低降级):
|
||||
1. **优先解析 `mediaV2`(screencast 投屏无水印流)**:
|
||||
* 提取 `note_data.video.mediaV2`(反序列化 JSON 字符串),优先获取 `opaque1.hd_screencast_stream`(原画/高清无水印)或 `default_screencast_stream`。
|
||||
2. **多码率流选择与水印过滤(`stream`)**:
|
||||
1. **优先解析 `consumer.originVideoKey`(作者原始上传无水印原画 Key)**:
|
||||
* 提取 `note_data.video.consumer.originVideoKey`(或 `origin_video_key`);
|
||||
* 拼装为无水印直链地址:`https://sns-video-bd.xhscdn.com/{originVideoKey}`。
|
||||
2. **优先解析 `mediaV2`(screencast 投屏无水印流)**:
|
||||
* 提取 `note_data.video.mediaV2`(反序列化 JSON 字符串),优先获取 `opaque1.hd_screencast_stream`(原画/高清无水印)或 `default_screencast_stream`,亦会尝试解析 `mediaV2` 内部的 `consumer.originVideoKey`。
|
||||
3. **多码率流选择与水印过滤(`stream`)**:
|
||||
* 遍历 `h264`, `h265`, `av1` 码率列表;
|
||||
* **无水印候选流**:优先选择 `streamType` 为 `258` 或 `301`,或 `streamDesc` 包含 `X264_MP4` 的音视频流(排除 `streamType` 259/309 等小程序带水印流)。
|
||||
3. **Protocol 规范化**:
|
||||
4. **Protocol 规范化**:
|
||||
* 统一调用 `_ensure_https` 修正 `\\u002F` 转义字符并将 `http://` 提升为 `https://`。
|
||||
|
||||
### 3.2 图文原图去水印与 LivePhoto 提取
|
||||
|
||||
@@ -161,7 +161,21 @@ class XiaohongshuParser(BaseParser):
|
||||
if not isinstance(video_info, dict):
|
||||
return None
|
||||
|
||||
# 1. 优先提取 mediaV2 中的 screencast 原画/高清无水印流
|
||||
# 1. 优先提取 consumer 中的 originVideoKey(无水印原画视频 Key)
|
||||
consumer = video_info.get('consumer', {})
|
||||
origin_key = None
|
||||
if isinstance(consumer, dict):
|
||||
origin_key = consumer.get('originVideoKey') or consumer.get('origin_video_key')
|
||||
if not origin_key:
|
||||
origin_key = video_info.get('originVideoKey') or video_info.get('origin_video_key')
|
||||
|
||||
if origin_key:
|
||||
if origin_key.startswith(('http://', 'https://')):
|
||||
return self._ensure_https(origin_key)
|
||||
else:
|
||||
return f"https://sns-video-bd.xhscdn.com/{origin_key.lstrip('/')}"
|
||||
|
||||
# 2. 优先提取 mediaV2 中的 screencast 原画/高清无水印流
|
||||
media_v2_str = video_info.get('mediaV2')
|
||||
if media_v2_str and isinstance(media_v2_str, str):
|
||||
try:
|
||||
@@ -173,10 +187,19 @@ class XiaohongshuParser(BaseParser):
|
||||
default_screencast = opaque1.get('default_screencast_stream')
|
||||
if default_screencast:
|
||||
return self._ensure_https(default_screencast)
|
||||
|
||||
mv2_consumer = mv2.get('video', {}).get('consumer', {}) or mv2.get('consumer', {})
|
||||
if isinstance(mv2_consumer, dict):
|
||||
mv2_origin_key = mv2_consumer.get('originVideoKey') or mv2_consumer.get('origin_video_key')
|
||||
if mv2_origin_key:
|
||||
if mv2_origin_key.startswith(('http://', 'https://')):
|
||||
return self._ensure_https(mv2_origin_key)
|
||||
else:
|
||||
return f"https://sns-video-bd.xhscdn.com/{mv2_origin_key.lstrip('/')}"
|
||||
except Exception as e:
|
||||
logger.debug(f"解析 mediaV2 失败: {e}")
|
||||
|
||||
# 2. 检查 h264/h265/av1 中的 stream,优先使用无水印流(如 streamType 258 或 301,或 streamDesc X264_MP4)
|
||||
# 3. 检查 h264/h265/av1 中的 stream,优先使用无水印流(如 streamType 258 或 301,或 streamDesc X264_MP4)
|
||||
stream = video_info.get('media', {}).get('stream', {}) or video_info.get('stream', {})
|
||||
unwatermarked_candidates = []
|
||||
fallback_candidates = []
|
||||
|
||||
@@ -42,7 +42,16 @@ class XiaohongshuParserTest(unittest.TestCase):
|
||||
|
||||
def test_get_real_video_url_unwatermarked(self):
|
||||
parser = XiaohongshuParser.__new__(XiaohongshuParser)
|
||||
# Test prioritizing mediaV2 screencast stream
|
||||
# Test prioritizing consumer.originVideoKey
|
||||
parser.note_data = {
|
||||
"video": {
|
||||
"consumer": {"originVideoKey": "pre_post/1040g2t0324k7p9o3go005q1il9f2nou295lutc0"},
|
||||
"mediaV2": '{"video": {"opaque1": {"hd_screencast_stream": "http://sns-video-v2.xhscdn.com/stream/1/110/301/hd_clean.mp4"}}}',
|
||||
}
|
||||
}
|
||||
self.assertEqual(parser.get_real_video_url(), "https://sns-video-bd.xhscdn.com/pre_post/1040g2t0324k7p9o3go005q1il9f2nou295lutc0")
|
||||
|
||||
# Test prioritizing mediaV2 screencast stream when originVideoKey is absent
|
||||
parser.note_data = {
|
||||
"video": {
|
||||
"mediaV2": '{"video": {"opaque1": {"hd_screencast_stream": "http://sns-video-v2.xhscdn.com/stream/1/110/301/hd_clean.mp4"}}}',
|
||||
@@ -74,3 +83,4 @@ class XiaohongshuParserTest(unittest.TestCase):
|
||||
if __name__ == "__main__":
|
||||
unittest.main()
|
||||
|
||||
|
||||
|
||||
Reference in New Issue
Block a user