From 19496f8c253ee0c18a2e2e27e23267c76aecaa63 Mon Sep 17 00:00:00 2001 From: ucmao <294323976@qq.com> Date: Tue, 27 Oct 2026 16:50:13 +0800 Subject: [PATCH] =?UTF-8?q?feat:=20=E5=A2=9E=E5=BC=BA=E7=9F=A5=E4=B9=8E?= =?UTF-8?q?=E8=A7=A3=E6=9E=90=E5=B9=B6=E6=94=AF=E6=8C=81=20Cookie=20?= =?UTF-8?q?=E9=85=8D=E7=BD=AE?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .env.example | 5 ++ docs/cookie-config.md | 9 +++ docs/index.md | 2 +- docs/parsers/zhihu.md | 29 ++++++--- src/parsers/zhihu_parser.py | 80 ++++++++++++++++++++++-- src/utils/cookie_manager.py | 1 + templates/admin/settings.html | 113 +++++++++++++++++++--------------- tests/test_zhihu_parser.py | 68 ++++++++++++++++++++ 8 files changed, 245 insertions(+), 62 deletions(-) diff --git a/.env.example b/.env.example index 55c0c7c..7db25ee 100644 --- a/.env.example +++ b/.env.example @@ -70,6 +70,11 @@ JIMENG_COOKIE= # 用于微博长图文与特定视频流提取 WEIBO_COOKIE= +# 知乎 Cookie(可选,支持 ZHIHU_COOKIE) +# 推荐精简字段: d_c0=xxx; z_c0=xxx; +# 用于服务器机房 IP 触发风控或提取登录可见内容时使用 +ZHIHU_COOKIE= + # 动态代理 API 提取地址(原生兼容 芝麻代理、巨量IP、青果网络、无忧代理、多米代理 等,支持 JSON 与 IP:端口 纯文本);留空关闭代理重试,配置说明见 docs/proxy-retry.md。 DYNAMIC_PROXY_API_URL= diff --git a/docs/cookie-config.md b/docs/cookie-config.md index 6bafb05..4a3ea90 100644 --- a/docs/cookie-config.md +++ b/docs/cookie-config.md @@ -17,6 +17,7 @@ | **豆包 AI** | `DOUBAO_COOKIE` | - | 🟡 **可选 (无水印)**:公开图文免 Cookie;提取 1080P 无水印视频需要 | `sessionid_ss=xxx;` | | **即梦 AI** | `JIMENG_COOKIE` | - | 🟡 **可选 (扩展鉴权)**:公开分享免 Cookie;私有草稿/活动页鉴权需要 | `sessionid=xxx;` | | **微博** | `WEIBO_COOKIE` | - | 🟡 **可选 (防访客限制)**:常规公开博文免 Cookie;机房 IP 遭遇访客拦截或解析粉丝可见内容时配置 | `SUB=xxx;` | +| **知乎** | `ZHIHU_COOKIE` | - | 🟡 **可选 (防风控/专栏文章)**:常规公开内容免 Cookie;机房 IP 遭遇 40362 风控或提取登录可见专栏文章时配置 | `d_c0=xxx; z_c0=xxx;` | | **抖音** | `DOUYIN_COOKIE` | `DY_COOKIE` | 🟢 **常规免配 (100% 免配)**:常规短视频/普通图文/音乐无需任何凭据;
🟡 **实况图 (机房 IP)**:需完整登录 Cookie + `UIFID`;
🟡 **放映厅长片**:需滑块通行证 `s_v_web_id` | 实况图需: `UIFID=xxx; sessionid=xxx; sessionid_ss=xxx; passport_csrf_token=xxx; odin_tt=xxx;`
(即完整登录 Cookie 拼入 UIFID);
放映厅需: `s_v_web_id=verify_xxx;` | --- @@ -210,6 +211,14 @@ docker compose up -d ``` 3. 填入 `.env` 中的 `WEIBO_COOKIE`(用于解决机房 IP 访客限制或提取粉丝可见博文/高码率视频)。 +### 3.8 知乎 (`ZHIHU_COOKIE`) +1. 访问 [知乎网页版 (zhihu.com)](https://www.zhihu.com/) 并登录账号。 +2. 按 `F12` 打开开发者工具,在 **Application -> Cookies -> https://www.zhihu.com** 中提取: + ```text + d_c0=你的d_c0值; z_c0=你的z_c0值; + ``` +3. 填入后台「系统设置」→「平台 Cookie 凭据覆盖配置」或 `.env` 中的 `ZHIHU_COOKIE`(用于解决机房云服务器 IP 遭遇的 40362 风控拦截或提取登录可见专栏文章)。 + --- ## 4. 常见错误码与排查指引 diff --git a/docs/index.md b/docs/index.md index 4e770ae..f338ced 100644 --- a/docs/index.md +++ b/docs/index.md @@ -44,7 +44,7 @@ | 11 | **小云雀 AI** | AI 图文 / 图像 | ✅ 支持 | 🟢 免配置 | 剪映小云雀分享端 | [查看指南](parsers/xiaoyunque.md) | | 12 | **腾讯元宝** | AI 生图 / 图片编辑 / AI 视频 | ⚠️ 含原生水印 | 🟢 公开分享免配置 | Next.js SSR 对话数据提取 | [查看指南](parsers/yuanbao.md) | | 13 | **微博** | 视频 / 直播回放 / 微博正文 / 多图 | ✅ 支持 | 🟢 免配置 (可选 Cookie 防风控) | 移动端 H5 接口 + 直播组件 + Base62 解码 | [查看指南](parsers/weibo.md) | -| 14 | **知乎** | 视频 (Video Pin) / 想法 / 问答 | ✅ 支持 | 🟢 免配置 | Web API 多路由正则提取 | [查看指南](parsers/zhihu.md) | +| 14 | **知乎** | 专栏文章 / 视频 (Video Pin) / 想法 / 问答 | ✅ 支持 | 🟢 免配置 (可选 Cookie 防风控) | Web API 多路由正则提取 + SSR 容灾兜底 | [查看指南](parsers/zhihu.md) | | 15 | **皮皮虾** | 视频 / 图文 | ✅ 支持 | 🟢 免配置 | H5 接口数据解析 | [查看指南](parsers/pipixia.md) | | 16 | **皮皮搞笑** | 视频 / 图集 | ✅ 支持 | 🟢 免配置 | H5 分享接口解析 | [查看指南](parsers/pipigaoxiao.md) | | 17 | **最右** | 视频 / 图集 | ✅ 支持 | 🟢 免配置 | H5 接口键值映射提取 | [查看指南](parsers/zuiyou.md) | diff --git a/docs/parsers/zhihu.md b/docs/parsers/zhihu.md index 6c0c768..c00d489 100644 --- a/docs/parsers/zhihu.md +++ b/docs/parsers/zhihu.md @@ -8,33 +8,48 @@ * **平台标识**:`知乎` * **支持媒体类型**: + * 专栏文章(顶部题图、正文高清插图图集、文章摘要与正文) * 知乎视频 (MP4) 与 Video Pin - * 专栏文章 / 想法图集 + * 想法(Pin 图文及内嵌视频) * 问答回答正文与作者信息 * **常见链接形态**: + * 专栏文章:`https://zhuanlan.zhihu.com/p/262266851` 或 `https://www.zhihu.com/p/262266851` * 想法:`https://www.zhihu.com/pin/2066168388699807826` * 视频:`https://www.zhihu.com/zvideo/12345678` * 问答:`https://www.zhihu.com/question/123/answer/456` -* **Cookie 依赖**:无需 Cookie。 +* **Cookie 依赖**:**可选(常规免配)**。公开内容默认无需 Cookie 即可解析;当服务部署在机房云服务器 IP 触发知乎风控(HTTP 403 / 错误码 40362)或解析登录可见内容时,可在后台「系统设置」或环境变量中配置 `ZHIHU_COOKIE`。 --- ## 2. 核心逆向流程 ### 2.1 多形态路由分发 (`_extract_content_id`) -通过正则表达式自动识别链接类型: +通过正则表达式自动识别链接类型与内容 ID: +* `article` ➔ `api.zhihu.com/articles/{id}` 或网页端专栏文章 * `answer` ➔ `api.zhihu.com/answers/{id}` * `zvideo` ➔ `api.zhihu.com/videos/{id}` * `pin` ➔ `api.zhihu.com/pins/{id}` -* `article` ➔ `api.zhihu.com/articles/{id}` ### 2.2 媒体提取规则 -* **视频提取**:从 `attachment.video` 或 `video_info` 中解析清晰度播放列表 `playlist`,优先挑选 `HD` / `SD` 直链。 -* **图文提取**:从正文 HTML 中通过 BeautifulSoup 提取 `` 标签的 `data-original` 或 `data-actualsrc` 原图。 +* **封面图提取 (`get_cover_photo_url`)**: + * 专栏文章优先提取顶部题图(`title_image`、`titleImage`、`title_img`); + * 视频 / 想法优先提取 `thumbnail` 或 `cover_url`; + * 若无专有封面,则自动回退提取正文图集的第一张图片。 +* **图集提取 (`get_image_list`)**: + * 专栏文章自动将题图置于图集首位; + * 从正文 HTML 中通过 BeautifulSoup 解析 `` 标签的 `data-original`、`data-actualsrc` 或 `src` 原图,去重后拼装返回。 +* **视频提取 (`get_real_video_url`)**: + * 从 `playlist` 播放列表按码率和分辨率降序排序,选取最高清晰度(HD/SD)MP4 直链; + * 支持解析正文中内嵌的 Lens 视频组件(`lens.zhihu.com/api/v4/videos/{lens_id}`)。 + +### 2.3 容灾与降级机制 (`_fetch_from_html`) +当知乎移动端 API 遭遇 403 风控或网络异常时,解析器自动回退至网页端抓取: +1. 优先解析网页中的 `', html, re.DOTALL) + if match: + try: + state = json.loads(match.group(1)).get("initialState", {}) + entities = state.get("entities", {}) + mapping = { + "article": "articles", + "answer": "answers", + "zvideo": "zvideos", + } + target_key = mapping.get(self.content_type) + if target_key and self.content_id in entities.get(target_key, {}): + return entities[target_key][self.content_id] + except Exception as e: + logger.debug("Failed to parse Zhihu SSR state: %s", e) + + soup = BeautifulSoup(html, "html.parser") + data = {} + og_title = soup.find("meta", property="og:title") + if og_title and og_title.get("content"): + data["title"] = og_title["content"] + og_image = soup.find("meta", property="og:image") + if og_image and og_image.get("content"): + data["title_image"] = og_image["content"] + og_desc = soup.find("meta", property="og:description") or soup.find("meta", attrs={"name": "description"}) + if og_desc and og_desc.get("content"): + data["excerpt"] = og_desc["content"] + content_div = soup.find("div", class_=re.compile(r"Post-RichText|RichText")) + if content_div: + data["content"] = str(content_div) + return data + except Exception as exc: + logger.debug("Zhihu HTML fallback failed: %s", exc) return {} @staticmethod @@ -137,13 +187,33 @@ class ZhihuParser(BaseParser): pin_video = self._pin_video() return ( self._first_url(pin_video.get("thumbnail")) + or self._first_url(pin_video.get("cover_url")) + or self._first_url(self.data.get("title_image")) + or self._first_url(self.data.get("title_img")) + or self._first_url(self.data.get("titleImage")) + or self._first_url(self.data.get("cover_url")) + or self._first_url(self.data.get("cover")) or self._first_url(self.data.get("thumbnail")) or self._first_url(self.data.get("image_url")) + or self._first_url(self.data.get("imageUrl")) or self._first_url(self.get_image_list()) ) def get_image_list(self): images = [] + cover = ( + self._first_url(self.data.get("title_image")) + or self._first_url(self.data.get("title_img")) + or self._first_url(self.data.get("titleImage")) + or self._first_url(self.data.get("cover_url")) + or self._first_url(self.data.get("cover")) + or self._first_url(self.data.get("thumbnail")) + or self._first_url(self.data.get("image_url")) + or self._first_url(self.data.get("imageUrl")) + ) + if cover: + images.append(cover) + for item in self.data.get("content") or []: if isinstance(item, dict) and item.get("type") == "image": if url := self._first_url(item.get("url") or item.get("image")): @@ -159,7 +229,7 @@ class ZhihuParser(BaseParser): def get_author_info(self): author = self.data.get("author") or {} return { - "nickname": author.get("name") or "", - "author_id": str(author.get("id") or ""), - "avatar": author.get("avatar_url") or "", + "nickname": author.get("name") or author.get("nickname") or "", + "author_id": str(author.get("id") or author.get("url_token") or author.get("urlToken") or ""), + "avatar": author.get("avatar_url") or author.get("avatarUrl") or "", } diff --git a/src/utils/cookie_manager.py b/src/utils/cookie_manager.py index e1a23bd..a5b3396 100644 --- a/src/utils/cookie_manager.py +++ b/src/utils/cookie_manager.py @@ -12,6 +12,7 @@ PLATFORM_COOKIE_ALIASES = { "jimeng": ["JIMENG_COOKIE"], "weibo": ["WEIBO_COOKIE"], "kuaishou": ["KUAISHOU_COOKIE", "KS_COOKIE"], + "zhihu": ["ZHIHU_COOKIE"], } diff --git a/templates/admin/settings.html b/templates/admin/settings.html index 4991ec6..15043bd 100644 --- a/templates/admin/settings.html +++ b/templates/admin/settings.html @@ -225,7 +225,8 @@
- 此配置优先级高于 .env 环境变量,保存即生效。您可以粘贴浏览器的完整 Cookie,也可仅填写推荐的精简字段。若需恢复使用 .env 凭据,直接清空内容并保存即可。 + 此配置优先级高于 .env 环境变量,保存即生效。您可以粘贴浏览器的完整 Cookie,也可仅填写推荐的精简字段。若需恢复使用 + .env 凭据,直接清空内容并保存即可。
@@ -244,36 +245,18 @@

腾讯元宝登录凭据。用于微信视频号无水印视频/图集及元宝 AI 内容的解析提取。

- +
-
- -

用于绕过小红书风控阻断与提取高清无水印图集/视频。

-
- - -
-
- - 留空读取: KUAISHOU_COOKIE -
- -

用于解除快手风控阻断或滑块验证要求。

+ +

用于提取豆包 AI 对话中的视频/生成媒体。

@@ -291,6 +274,52 @@

用于拼多多商品/视频页面详情提取。

+ +
+
+ + 留空读取: JIMENG_COOKIE +
+ +

用于即梦 AI 生成内容的接口凭据支持。

+
+ + +
+
+ + 留空读取: XHS_COOKIE +
+ +

可选。用于绕过小红书风控阻断与提取高清无水印图集/视频。

+
+ + +
+
+ + 留空读取: KUAISHOU_COOKIE +
+ +

可选。用于解除快手风控阻断或滑块验证要求。

+
+
@@ -320,32 +349,18 @@

可选。常规内容免 Cookie,遇到频繁抓包限制时提供。

- +
-
- -

用于提取豆包 AI 对话中的视频/生成媒体。

-
- - -
-
- - 留空读取: JIMENG_COOKIE -
- -

用于即梦 AI 生成内容的接口凭据支持。

+ +

可选。用于绕过知乎专栏/问答风控限制或提取登录可见内容。

diff --git a/tests/test_zhihu_parser.py b/tests/test_zhihu_parser.py index f965dba..8fd3c47 100644 --- a/tests/test_zhihu_parser.py +++ b/tests/test_zhihu_parser.py @@ -29,3 +29,71 @@ class ZhihuParserTest(unittest.TestCase): self.assertEqual(parser.get_title_content(), "测试知乎视频") self.assertEqual(parser.get_author_info()["nickname"], "测试作者") self.assertEqual(get.call_args.args[0], "https://api.zhihu.com/pins/2066168388699807826") + + def test_article_title_image_cover_and_image_list(self): + response = Mock() + response.raise_for_status.return_value = None + response.json.return_value = { + "title": "知乎专栏测试文章", + "title_image": "https://picx.zhimg.com/v2-cover123_b.jpg", + "image_url": "", + "content": "

正文内容

", + "author": {"name": "测试作者", "id": "123456", "avatar_url": "https://picx.zhimg.com/avatar.jpg"}, + } + with patch("requests.Session.get", return_value=response) as get: + parser = ZhihuParser("https://zhuanlan.zhihu.com/p/262266851") + + self.assertEqual(parser.get_cover_photo_url(), "https://picx.zhimg.com/v2-cover123_b.jpg") + self.assertEqual(parser.get_image_list(), [ + "https://picx.zhimg.com/v2-cover123_b.jpg", + "https://picx.zhimg.com/v2-body456.jpg", + ]) + self.assertEqual(parser.get_title_content(), "知乎专栏测试文章") + self.assertEqual(parser.get_author_info()["nickname"], "测试作者") + self.assertEqual(get.call_args.args[0], "https://api.zhihu.com/articles/262266851") + + def test_article_without_body_images_preserves_cover_in_image_list(self): + response = Mock() + response.raise_for_status.return_value = None + response.json.return_value = { + "title": "纯文本带题图专栏文章", + "title_image": "https://picx.zhimg.com/v2-cover999.jpg", + "content": "

只有文字,没有正文插图

", + "author": {"name": "测试作者", "id": "123456"}, + } + with patch("requests.Session.get", return_value=response): + parser = ZhihuParser("https://www.zhihu.com/p/262266851") + + self.assertEqual(parser.get_cover_photo_url(), "https://picx.zhimg.com/v2-cover999.jpg") + self.assertEqual(parser.get_image_list(), ["https://picx.zhimg.com/v2-cover999.jpg"]) + + def test_html_ssr_fallback_extracts_article_cover(self): + html = """ + + + + + + + + """ + api_resp = Mock() + api_resp.raise_for_status.side_effect = Exception("403 Forbidden") + html_resp = Mock() + html_resp.status_code = 200 + html_resp.text = html + + with patch("requests.Session.get", side_effect=[api_resp, html_resp]): + parser = ZhihuParser("https://zhuanlan.zhihu.com/p/262266851") + + self.assertEqual(parser.get_title_content(), "SSR测试标题") + self.assertEqual(parser.get_cover_photo_url(), "https://picx.zhimg.com/v2-ssr-cover.jpg") + self.assertEqual(parser.get_image_list(), ["https://picx.zhimg.com/v2-ssr-cover.jpg"]) + self.assertEqual(parser.get_author_info()["nickname"], "SSR作者")