mirror of
https://github.com/ucmao/media-parser.git
synced 2026-11-20 08:04:56 +08:00
整理部署配置并规范小红书 Cookie 变量优先级
This commit is contained in:
+15
-5
@@ -33,9 +33,9 @@ TZ=Asia/Shanghai
|
||||
# (大部分平台支持匿名免登录解析;当特定链接触发平台风控或需要鉴权时配置)
|
||||
# ------------------------------------------
|
||||
|
||||
# 小红书 Cookie(支持 XHS_COOKIE 或 XIAOHONGSHU_COOKIE)
|
||||
# 小红书 Cookie(支持 XIAOHONGSHU_COOKIE 或 XHS_COOKIE)
|
||||
# 用于部分需要登录才能查看的小红书笔记
|
||||
XHS_COOKIE=
|
||||
XIAOHONGSHU_COOKIE=
|
||||
|
||||
# 快手 Cookie(支持 KUAISHOU_COOKIE 或 KS_COOKIE)
|
||||
# 用于应对快手高频反爬拦截(result: 2 / ANTICRAWL_DEFAULT)
|
||||
@@ -89,14 +89,24 @@ PROXY_FETCH_PER_SECOND=1
|
||||
# ------------------------------------------
|
||||
# 3. 邮件 / 注册邮箱验证 (SMTP,可选)
|
||||
# 留空 SMTP_HOST 即关闭邮箱验证,注册仍为"用户名 + 密码";配置后注册需邮箱验证码(可在后台「系统设置」关闭)
|
||||
# 修改后需执行 docker compose up -d 重建容器才会生效(restart 不会读取新的环境变量)
|
||||
#
|
||||
# 常用邮箱参考(值不要加引号):
|
||||
# QQ 邮箱 SMTP_HOST=smtp.qq.com SMTP_PORT=465 SMTP_SECURITY=ssl
|
||||
# 163 邮箱 SMTP_HOST=smtp.163.com SMTP_PORT=465 SMTP_SECURITY=ssl
|
||||
# 腾讯企业邮 SMTP_HOST=smtp.exmail.qq.com SMTP_PORT=465 SMTP_SECURITY=ssl
|
||||
# 阿里企业邮 SMTP_HOST=smtp.qiye.aliyun.com SMTP_PORT=465 SMTP_SECURITY=ssl
|
||||
# 云服务器若封了 465 端口,改用 SMTP_PORT=587 SMTP_SECURITY=starttls;25 端口在多数云厂商被封,不建议使用
|
||||
# ------------------------------------------
|
||||
SMTP_HOST=
|
||||
# 端口与加密方式:465 + ssl(默认)、587 + starttls、25 + none
|
||||
SMTP_PORT=465
|
||||
# ssl / starttls / none
|
||||
SMTP_SECURITY=ssl
|
||||
# 完整邮箱地址,例如 123456789@qq.com(不能只写 QQ 号)
|
||||
SMTP_USER=
|
||||
# 多数邮箱(QQ / 163 / 阿里企业邮)需填写"授权码"而不是登录密码
|
||||
# QQ / 163 需填写"授权码"(邮箱设置 → 账号 → 开启 IMAP/SMTP 服务后生成),不是登录密码
|
||||
SMTP_PASSWORD=
|
||||
# 发件地址,留空默认使用 SMTP_USER
|
||||
# 发件地址,留空默认使用 SMTP_USER;QQ / 163 要求与 SMTP_USER 一致,否则报 501/553
|
||||
SMTP_FROM=
|
||||
# 收件人看到的发件人名称
|
||||
SMTP_FROM_NAME=Media Parser
|
||||
|
||||
@@ -44,7 +44,7 @@ Media-Parser是一款专为短视频创作者与开发者打造的**100%原生
|
||||
* **原生自主**:100% 本地代码闭环抓取,零外部商用 API 或第三方代解析依赖,数据链路自主可控,杜绝断流与隐私泄露风险。
|
||||
* **插件化解耦**:内置 `ParserFactory` 模块自动发现与工厂分发机制,50 个平台独立解耦,遵循统一的数据契约,新增与维护平台极度轻松(详见 [📖 系统架构与生命周期](docs/architecture.md))。
|
||||
* **开箱即用**:提供标准 JSON 接口、Web 体验页与轻量运营控制台,默认内置 SQLite,Docker Compose 一键构建。
|
||||
* **访问控制**:支持客户注册、管理员配置有效期与积分、API Key 管理、全局与单平台开关、用户总量/单个密钥/平台全局三级 QPS 限流和调用日志。
|
||||
* **访问控制**:支持客户注册(可选 SMTP 邮箱验证码)、管理员配置有效期与积分、API Key 管理、全局与单平台开关、用户总量/单个密钥/平台全局三级 QPS 限流和调用日志。
|
||||
|
||||
---
|
||||
|
||||
@@ -104,38 +104,47 @@ Media-Parser是一款专为短视频创作者与开发者打造的**100%原生
|
||||
| **央视频** | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | | | | | [查看](docs/parsers/yangshipin.md) |
|
||||
|
||||
<sub>注:带 `*` 的项表示该素材保留官方原生水印,未带 `*` 的项均为纯净无水印素材。</sub>
|
||||
> **Cookie凭据配置**:绝大多数平台支持免登录匿名解析;如需配置小红书、视频号等平台凭证,可参考 [`.env.example`](.env.example),详细方法见 [📖 平台Cookie配置指南](docs/cookie-config.md)。
|
||||
>
|
||||
> **动态代理配置**:配置 `DYNAMIC_PROXY_API_URL` 后,默认在 Cookie 校验失败时自动触发平台级 15 分钟代理访问;高解析量场景可切换为「始终走代理」,每次解析从 IP 池轮换分配出口。详见 [📖 动态代理配置说明](docs/proxy-retry.md)。
|
||||
>
|
||||
|
||||
> **逆向与抓包SOP**:各平台详细技术分析与抓包规范,请查阅 [📖 平台逆向指南索引](docs/index.md) 与 [📖 通用逆向方法论](docs/reverse-guide.md)。
|
||||
|
||||
---
|
||||
|
||||
## 🚀 部署指南
|
||||
|
||||
### 1. 运行模式选择
|
||||
> 阅读顺序:**选择运行模式(第 1 节)→ 启动服务(第 2 节)→ 按所选模式完成配置(第 3 或第 4 节,二选一)→ 通用增强配置(第 5 节,可选)**。
|
||||
|
||||
系统支持两种部署形态,根据你的实际使用场景按需选择:
|
||||
### 1. 选择运行模式
|
||||
|
||||
| 运行模式 | 配置参数 | 适用场景 | 特性与说明 |
|
||||
| :--- | :--- | :--- | :--- |
|
||||
| **纯API微服务模式** | `API_ONLY=true` | 内部微服务、Bot/下载器后端、本地集成 | **开箱即用,免鉴权**:彻底关闭Web前后端,全接口无需API Key直接调用,零数据库开销,适合高并发与多容器扩展。 |
|
||||
| **完整运营SaaS模式** | `API_ONLY=false`(默认) | 独立自建站点、发卡运营、多用户管理 | **带Web前后台**:提供前台体验页、用户中心、管理后台,支持API Key鉴权、积分扣除与多级QPS限流。 |
|
||||
系统通过一个环境变量 `API_ONLY` 切换两种部署形态,根据你的实际使用场景按需选择:
|
||||
|
||||
| | **纯API微服务模式** | **完整运营SaaS模式** |
|
||||
| :--- | :--- | :--- |
|
||||
| 启用方式 | `API_ONLY=true` | `API_ONLY=false`(默认) |
|
||||
| 适用场景 | 内部微服务、Bot/下载器后端、本地集成 | 独立自建站点、发卡运营、多用户管理 |
|
||||
| 接口鉴权 | 免鉴权,直接调用 | API Key 鉴权 |
|
||||
| Web 页面 | 无,仅提供解析接口 | 前台体验页、用户中心、管理后台 |
|
||||
| 用户与计费 | 无 | 注册登录、积分扣除、多级 QPS 限流、调用日志 |
|
||||
| 特点 | 零数据库开销,适合高并发与多容器扩展 | 开箱即可对外运营 |
|
||||
|
||||
> 平台 Cookie、动态代理、CORS 等解析相关配置两种模式通用,见 [第 5 节](#5-通用增强配置可选两种模式均生效)。
|
||||
|
||||
---
|
||||
|
||||
### 2. Docker Compose 部署(推荐)
|
||||
### 2. 启动服务
|
||||
|
||||
#### Docker Compose 部署(推荐)
|
||||
|
||||
需要 Docker Compose **v2.24 及以上**(可通过 `docker compose version` 查看)。
|
||||
|
||||
```bash
|
||||
# 1. 获取源码
|
||||
git clone https://github.com/ucmao/media-parser.git
|
||||
cd media-parser
|
||||
|
||||
# 2. (可选)配置环境变量与平台 Cookie
|
||||
# 2. 创建配置文件(全部配置项均可选,留空即使用默认值)
|
||||
cp .env.example .env
|
||||
# 若作为纯微服务运行,只需在 .env 中设置 API_ONLY=true
|
||||
# 若需配置小红书/视频号等 Cookie 凭证,直接在 .env 中填入对应字段
|
||||
# 纯API微服务模式:在 .env 中设置 API_ONLY=true
|
||||
# 完整运营SaaS模式:保持默认 API_ONLY=false 即可
|
||||
|
||||
# 3. 构建并启动服务
|
||||
docker compose up -d --build
|
||||
@@ -144,24 +153,71 @@ docker compose up -d --build
|
||||
docker compose logs -f web
|
||||
```
|
||||
|
||||
**启动后的使用指引**:
|
||||
- **微服务模式**:无需任何初始化,服务就绪后直接调用接口即可。
|
||||
- **运营模式**:首次部署请访问 `http://localhost:8051/auth/setup` 创建管理员账号,初始化完成后入口自动关闭。数据默认持久化在 `./data` 目录。
|
||||
> **修改 `.env` 后**需执行 `docker compose up -d` 重建容器才会生效(`docker compose restart` 不会读取新的环境变量)。
|
||||
|
||||
---
|
||||
#### Python 本地运行
|
||||
|
||||
### 3. Python 本地运行
|
||||
|
||||
适用于调试与二次开发,推荐 **Python 3.10+**:
|
||||
适用于调试与二次开发,推荐 **Python 3.10+**,启动时会自动读取项目根目录的 `.env`:
|
||||
|
||||
```bash
|
||||
# 1. 安装依赖
|
||||
pip install -r requirements.txt
|
||||
|
||||
# 2. 启动服务
|
||||
# 2. 启动服务(默认端口 8051)
|
||||
python app.py
|
||||
```
|
||||
|
||||
服务就绪后可访问 `http://localhost:8051/api/health` 检查运行状态。
|
||||
|
||||
---
|
||||
|
||||
### 3. 纯API微服务模式(`API_ONLY=true`)
|
||||
|
||||
- **无需任何初始化**:服务启动后直接调用 `/api/v1/parse` 即可,调用方式见下方 [API 接口](#-api-接口) 的「方式 A」。
|
||||
- **不加载任何 Web 页面**:首页、登录 / 注册、用户中心、管理后台均返回 404;API Key、积分、限流与调用日志全部关闭。
|
||||
- **以下配置不生效,无需填写**:管理后台的各项开关、`API_BASE_URL`、`SMTP_*` 邮件配置等。
|
||||
- 如需增强特定平台的解析能力,参见 [5. 通用增强配置](#5-通用增强配置可选两种模式均生效)。
|
||||
|
||||
---
|
||||
|
||||
### 4. 完整运营SaaS模式(`API_ONLY=false`,默认)
|
||||
|
||||
#### 4.1 首次初始化
|
||||
|
||||
首次部署请访问 `http://localhost:8051/auth/setup` 创建管理员账号,初始化完成后入口自动关闭。数据默认持久化在 `./data` 目录(用户、API Key、开关配置与调用日志)。
|
||||
|
||||
#### 4.2 后台运营开关
|
||||
|
||||
登录管理后台「系统设置」即可在线调整,无需重启:
|
||||
|
||||
* **全局开关**:API 服务总开关、前台首页、首页在线体验。
|
||||
* **用户注册**:是否开放注册、每日注册上限,以及新账号默认的 QPS、试用天数与赠送积分。
|
||||
* **安全防护**:IP 黑名单(命中后注册、登录、接口调用全部拒绝)。
|
||||
|
||||
> 「前台首页」与「用户注册」是两个独立开关:关闭首页只影响网站首页,登录 / 注册页仍可访问;如需停止新用户注册,请关闭「开放用户注册」。
|
||||
|
||||
#### 4.3 注册邮箱验证(可选)
|
||||
|
||||
默认仅需用户名 + 密码注册;在 `.env` 中配置 `SMTP_*` 后,注册需邮箱验证码(可在后台关闭)。填写示例见 [`.env.example`](.env.example)。
|
||||
|
||||
#### 4.4 部署在反向代理之后
|
||||
|
||||
使用 Nginx / Caddy 等反向代理时,建议设置:
|
||||
|
||||
* `TRUST_PROXY_HEADERS=true`:从代理传递的请求头中获取真实客户端 IP,保证限流、IP 黑名单与注册防护按真实 IP 生效。
|
||||
* `API_BASE_URL=https://api.yourdomain.com`:控制台与接口文档中展示的对外访问地址。
|
||||
|
||||
---
|
||||
|
||||
### 5. 通用增强配置(可选,两种模式均生效)
|
||||
|
||||
以下配置作用于解析引擎本身,与运行模式无关,全部在 `.env` 中填写:
|
||||
|
||||
* **平台 Cookie 凭据**:绝大多数平台支持免登录匿名解析;如需配置小红书、视频号等平台凭证,可参考 [`.env.example`](.env.example),详细方法见 [📖 平台Cookie配置指南](docs/cookie-config.md)。运营模式下也可在管理后台在线覆盖。
|
||||
* **动态代理**:配置 `DYNAMIC_PROXY_API_URL` 后,默认在 Cookie 校验失败时自动触发平台级 15 分钟代理访问;高解析量场景可切换为「始终走代理」,每次解析从 IP 池轮换分配出口。详见 [📖 动态代理配置说明](docs/proxy-retry.md)。
|
||||
* **跨域访问**:`CORS_ORIGINS` 控制允许跨域调用 `/api/*` 的来源,默认 `*`,多个来源用逗号分隔。
|
||||
* **服务端口**:`WEB_PORT`,默认 `8051`。
|
||||
|
||||
---
|
||||
|
||||
## 🔌 API 接口
|
||||
|
||||
@@ -46,9 +46,7 @@ def create_app(config=None):
|
||||
app.config['DATABASE'] = os.getenv(
|
||||
'DATABASE_PATH', os.path.join(app.instance_path, 'media_parser.db')
|
||||
)
|
||||
proxy_url = (os.getenv('DYNAMIC_PROXY_API_URL') or os.getenv('JULIANG_PROXY_API_URL') or '').strip()
|
||||
app.config['DYNAMIC_PROXY_API_URL'] = proxy_url
|
||||
app.config['JULIANG_PROXY_API_URL'] = proxy_url
|
||||
app.config['DYNAMIC_PROXY_API_URL'] = (os.getenv('DYNAMIC_PROXY_API_URL') or '').strip()
|
||||
app.config['PROXY_MODE'] = (os.getenv('PROXY_MODE') or '').strip().lower()
|
||||
app.config['PROXY_POOL_SIZE'] = (os.getenv('PROXY_POOL_SIZE') or '').strip()
|
||||
app.config['PROXY_FETCH_PER_SECOND'] = (os.getenv('PROXY_FETCH_PER_SECOND') or '').strip()
|
||||
|
||||
+8
-29
@@ -18,35 +18,14 @@ services:
|
||||
- ./logs:/app/logs
|
||||
# 持久化用户、API Key、开关和调用日志
|
||||
- ./data:/app/data
|
||||
# 基础运行环境(开箱即用,无需配置 Cookie 即可直接启动)
|
||||
# 全部配置写在 .env 中(参考 .env.example),整体传入容器;文件不存在时使用默认值启动
|
||||
env_file:
|
||||
- path: .env
|
||||
required: false
|
||||
# 以下为容器内固定值,优先级高于 .env
|
||||
environment:
|
||||
- TZ=Asia/Shanghai
|
||||
# 后端监听端口(默认 8051,改一处即同时作用于映射与健康检查)
|
||||
- TZ=${TZ:-Asia/Shanghai}
|
||||
# 后端监听端口(默认 8051,改一处即同时作用于映射与健康检查)
|
||||
- WEB_PORT=${WEB_PORT:-8051}
|
||||
- SECRET_KEY=${SECRET_KEY:-}
|
||||
# 数据库固定在挂载目录 ./data 中,避免容器重建后数据丢失
|
||||
- DATABASE_PATH=/app/data/media_parser.db
|
||||
- TRUST_PROXY_HEADERS=${TRUST_PROXY_HEADERS:-false}
|
||||
# 纯 API / 微服务模式(开启后不挂载 Web UI,全接口免 API Key 直接调用且不写请求日志)
|
||||
- API_ONLY=${API_ONLY:-false}
|
||||
# Cookie 触发的动态代理提取地址
|
||||
- DYNAMIC_PROXY_API_URL=${DYNAMIC_PROXY_API_URL:-${JULIANG_PROXY_API_URL:-}}
|
||||
- PROXY_MODE=${PROXY_MODE:-auto}
|
||||
- PROXY_POOL_SIZE=${PROXY_POOL_SIZE:-2}
|
||||
- PROXY_FETCH_PER_SECOND=${PROXY_FETCH_PER_SECOND:-1}
|
||||
# 可选 SMTP:未设置 SMTP_HOST 时注册无需邮箱验证
|
||||
- SMTP_HOST=${SMTP_HOST:-}
|
||||
- SMTP_PORT=${SMTP_PORT:-}
|
||||
- SMTP_SECURITY=${SMTP_SECURITY:-}
|
||||
- SMTP_USER=${SMTP_USER:-}
|
||||
- SMTP_PASSWORD=${SMTP_PASSWORD:-}
|
||||
- SMTP_FROM=${SMTP_FROM:-}
|
||||
- SMTP_FROM_NAME=${SMTP_FROM_NAME:-}
|
||||
# 可选平台凭据(若在本地 .env 中配置将自动透传进容器):
|
||||
- XHS_COOKIE=${XHS_COOKIE:-}
|
||||
- DOUYIN_COOKIE=${DOUYIN_COOKIE:-}
|
||||
- DOUBAO_COOKIE=${DOUBAO_COOKIE:-}
|
||||
- YUANBAO_COOKIE=${YUANBAO_COOKIE:-}
|
||||
- PINDUODUO_COOKIE=${PINDUODUO_COOKIE:-}
|
||||
- KUAISHOU_COOKIE=${KUAISHOU_COOKIE:-}
|
||||
- JIMENG_COOKIE=${JIMENG_COOKIE:-}
|
||||
- WEIBO_COOKIE=${WEIBO_COOKIE:-}
|
||||
|
||||
@@ -10,7 +10,7 @@
|
||||
|
||||
| 平台名称 | 环境变量 Key | 别名支持 | 必要性 / 使用场景 | 推荐精简字段 |
|
||||
| :--- | :--- | :--- | :--- | :--- |
|
||||
| **小红书** | `XHS_COOKIE` | `XIAOHONGSHU_COOKIE` | 🟡 **兜底 (防风控)**:日常免 Cookie 解析;机房 IP 遭遇 302 登录拦截时配置 | `a1=xxx; webId=xxx; web_session=xxx;` |
|
||||
| **小红书** | `XIAOHONGSHU_COOKIE` | `XHS_COOKIE` | 🟡 **兜底 (防风控)**:日常免 Cookie 解析;机房 IP 遭遇 302 登录拦截时配置 | `a1=xxx; webId=xxx; web_session=xxx;` |
|
||||
| **微信视频号** | `YUANBAO_COOKIE` | `WECHAT_CHANNELS_COOKIE` | 🔐 **必需 (媒体流与标题)**:提取视频号无水印视频直链、视频标题与高清图集(微信官方加强了匿名 `generalToken` 鉴权,匿名模式下视频直链与标题为空,必须依赖元宝 Cookie) | `hy_user=xxx; hy_token=xxx;` |
|
||||
| **快手** | `KUAISHOU_COOKIE` | `KS_COOKIE` | 🟡 **兜底 (防风控)**:日常免 Cookie 解析;触发 `result: 2` 反爬时配置 | `kpf=PC_WEB; kpn=KUAISHOU_VISION; did=xxx;` |
|
||||
| **拼多多** | `PINDUODUO_COOKIE` | `PDD_COOKIE` | 🟡 **增强 (部分依赖)**:实物/评价秀免 Cookie;多多视频短视频流解析需要 | `PDDAccessToken=xxx;` |
|
||||
@@ -50,7 +50,7 @@ flowchart TD
|
||||
YUANBAO_COOKIE="hy_user=xxx; hy_token=xxx;"
|
||||
|
||||
# 小红书
|
||||
XHS_COOKIE="a1=xxx; webId=xxx; web_session=xxx;"
|
||||
XIAOHONGSHU_COOKIE="a1=xxx; webId=xxx; web_session=xxx;"
|
||||
```
|
||||
YUANBAO_COOKIE="hy_user=xxx; hy_token=yyy;"
|
||||
|
||||
@@ -93,14 +93,14 @@ docker compose up -d
|
||||
|
||||
## 3. 各平台 Cookie 提取步骤 (How-to Guide)
|
||||
|
||||
### 3.1 小红书 (`XHS_COOKIE`)
|
||||
### 3.1 小红书 (`XIAOHONGSHU_COOKIE`)
|
||||
1. 使用电脑浏览器打开 [小红书网页版 (xiaohongshu.com)](https://www.xiaohongshu.com/) 并登录账号。
|
||||
2. 按 `F12` 打开浏览器开发者工具,切换到 **Application (应用) -> Cookies -> https://www.xiaohongshu.com**。
|
||||
3. 提取以下核心字段拼装成字符串:
|
||||
```text
|
||||
a1=你的a1值; webId=你的webId值; web_session=你的web_session值;
|
||||
```
|
||||
4. 填入 `.env` 中的 `XHS_COOKIE`。
|
||||
4. 填入 `.env` 中的 `XIAOHONGSHU_COOKIE`。
|
||||
|
||||
### 3.2 腾讯元宝 / 微信视频号 (`YUANBAO_COOKIE`)
|
||||
> 视频号解析依托腾讯元宝的官方智能联网协议,因此需配置腾讯元宝登录态。
|
||||
@@ -231,7 +231,7 @@ docker compose up -d
|
||||
|
||||
| 错误码 (`error_code`) | 含义说明 | 解决方案 |
|
||||
| :--- | :--- | :--- |
|
||||
| `XIAOHONGSHU_COOKIE_REQUIRED` | 小红书触发服务器 IP 拦截,需要登录 Cookie 校验 | 在 `.env` 中配置或更新 `XHS_COOKIE` |
|
||||
| `XIAOHONGSHU_COOKIE_REQUIRED` | 小红书触发服务器 IP 拦截,需要登录 Cookie 校验 | 在 `.env` 中配置或更新 `XIAOHONGSHU_COOKIE` |
|
||||
| `KUAISHOU_COOKIE_REQUIRED` | 快手触发反爬风控校验(`result: 2` / `ANTICRAWL_DEFAULT`) | 在 `.env` 中配置或更新 `KUAISHOU_COOKIE` |
|
||||
| `WECHAT_CHANNELS_COOKIE_REQUIRED` | 视频号缺少腾讯元宝凭证,无法提取无水印流 | 在 `.env` 中配置有效的 `YUANBAO_COOKIE` |
|
||||
| `PINDUODUO_COOKIE_REQUIRED` | 拼多多短视频接口返回 403 鉴权失败 | 在 `.env` 中配置最新的 `PINDUODUO_COOKIE` |
|
||||
|
||||
+1
-1
@@ -108,7 +108,7 @@ DOUBAO_COOKIE="sessionid_ss=your_doubao_sessionid_ss"
|
||||
YUANBAO_COOKIE="hy_user=xxx; hy_token=yyy;"
|
||||
|
||||
# 3. 小红书防风控 / 高频解析 (可选,解决服务器 IP 遭遇的 302 登录拦截)
|
||||
XHS_COOKIE="a1=xxx; webId=yyy; web_session=zzz;"
|
||||
XIAOHONGSHU_COOKIE="a1=xxx; webId=yyy; web_session=zzz;"
|
||||
|
||||
# 4. 抖音 LivePhoto 实况流 / 放映厅 (可选,常规短视频免 Cookie 毫秒级直出;云端提取实况动图流可填入含 UIFID 的 Cookie)
|
||||
DOUYIN_COOKIE="UIFID=xxx; passport_csrf_token=yyy;"
|
||||
|
||||
@@ -19,7 +19,7 @@
|
||||
* 网页探索长链:`https://www.xiaohongshu.com/explore/6a8fbccc000000002a03825a`
|
||||
* **Cookie 依赖**:
|
||||
* **建议配置**:小红书针对高频/服务器 IP 匿名抓取会频繁发起风控并 302 重定向至 `/login` 登录页。
|
||||
* **配置方式**:在 `.env` 或 Docker 环境中配置 `XHS_COOKIE="a1=...; webId=...; web_session=..."`。
|
||||
* **配置方式**:在 `.env` 或 Docker 环境中配置 `XIAOHONGSHU_COOKIE="a1=...; webId=...; web_session=..."`。
|
||||
* **核心字段**:仅需包含设备凭据 `a1`、访客 `webId` 或登录凭证 `web_session`。配置后解析成功率可达 99%+。
|
||||
|
||||
---
|
||||
|
||||
@@ -267,6 +267,8 @@ def register_send_code():
|
||||
return fail("请输入有效的邮箱地址")
|
||||
if _email_taken(email):
|
||||
return fail("该邮箱已注册,请直接登录")
|
||||
if registration_quota_exceeded():
|
||||
return fail("今日注册名额已满,请明天再试或联系管理员开通", 429)
|
||||
|
||||
client_ip = get_client_ip()
|
||||
email_digest = hashlib.sha256(email.encode()).hexdigest()
|
||||
|
||||
@@ -28,7 +28,7 @@ class XiaohongshuParser(BaseParser):
|
||||
pc_ua = USER_AGENT_PC[0] if USER_AGENT_PC else "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36"
|
||||
mobile_ua = USER_AGENT_M[0] if USER_AGENT_M else "Mozilla/5.0 (iPhone; CPU iPhone OS 17_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Mobile/15E148 Safari/604.1"
|
||||
|
||||
cookie = get_platform_cookie("xhs")
|
||||
cookie = get_platform_cookie("xiaohongshu")
|
||||
|
||||
# 优先使用 PC 端 UA 请求以获得无水印高品质音视频流与原图,若失败再回退至移动端 UA
|
||||
candidate_uas = [pc_ua, mobile_ua]
|
||||
|
||||
@@ -21,8 +21,8 @@ def without_platform_cookies():
|
||||
|
||||
# 平台 Cookie 环境变量及别名映射表
|
||||
PLATFORM_COOKIE_ALIASES = {
|
||||
"xhs": ["XHS_COOKIE", "XIAOHONGSHU_COOKIE"],
|
||||
"xiaohongshu": ["XHS_COOKIE", "XIAOHONGSHU_COOKIE"],
|
||||
"xhs": ["XIAOHONGSHU_COOKIE", "XHS_COOKIE"],
|
||||
"xiaohongshu": ["XIAOHONGSHU_COOKIE", "XHS_COOKIE"],
|
||||
"pinduoduo": ["PINDUODUO_COOKIE", "PDD_COOKIE"],
|
||||
"douyin": ["DOUYIN_COOKIE", "DY_COOKIE"],
|
||||
"yuanbao": ["YUANBAO_COOKIE", "WECHAT_CHANNELS_COOKIE"],
|
||||
@@ -47,9 +47,9 @@ def get_platform_cookie(platform_key: str, env_var: str | None = None) -> str:
|
||||
|
||||
按优先级依次检查:
|
||||
1. 后台数据库系统配置 (system_settings 表中的 cookie_{platform});
|
||||
2. 指定的环境变量 (如 env_var="XHS_COOKIE");
|
||||
2. 指定的环境变量 (如 env_var="XIAOHONGSHU_COOKIE");
|
||||
3. 标准环境变量 ({PLATFORM}_COOKIE);
|
||||
4. 别名列表 (如 XIAOHONGSHU_COOKIE)。
|
||||
4. 别名列表 (如 XHS_COOKIE)。
|
||||
"""
|
||||
if cookies_suppressed():
|
||||
return ""
|
||||
|
||||
@@ -98,7 +98,7 @@ COOKIE_REGISTRY = {
|
||||
"xiaohongshu": {
|
||||
"platform_name": "小红书",
|
||||
"db_keys": ["cookie_xiaohongshu"],
|
||||
"env_keys": ["XHS_COOKIE", "XIAOHONGSHU_COOKIE"],
|
||||
"env_keys": ["XIAOHONGSHU_COOKIE", "XHS_COOKIE"],
|
||||
"required_fields": [],
|
||||
"optional_fields": ["a1", "webId", "web_session"],
|
||||
"severity": "fallback",
|
||||
|
||||
@@ -350,7 +350,7 @@
|
||||
class="font-semibold text-slate-900 flex items-center gap-2">
|
||||
<span>小红书 (Xiaohongshu)</span>
|
||||
</label>
|
||||
<span class="text-[11px] text-slate-400">留空读取: <code>XHS_COOKIE</code></span>
|
||||
<span class="text-[11px] text-slate-400">留空读取: <code>XIAOHONGSHU_COOKIE</code></span>
|
||||
</div>
|
||||
<textarea id="cookie_xiaohongshu" name="cookie_xiaohongshu" rows="2"
|
||||
placeholder="推荐精简字段: a1=xxx; webId=xxx; web_session=xxx;"
|
||||
|
||||
@@ -17,10 +17,14 @@ class CookieManagerTest(unittest.TestCase):
|
||||
self.assertEqual(cookie, "token=custom_456;")
|
||||
|
||||
def test_falls_back_to_alias_env(self):
|
||||
with patch.dict(os.environ, {"XIAOHONGSHU_COOKIE": "a1=from_alias_789;", "XHS_COOKIE": ""}):
|
||||
with patch.dict(os.environ, {"XHS_COOKIE": "a1=from_alias_789;", "XIAOHONGSHU_COOKIE": ""}):
|
||||
cookie = get_platform_cookie("xiaohongshu")
|
||||
self.assertEqual(cookie, "a1=from_alias_789;")
|
||||
|
||||
def test_xiaohongshu_official_name_wins_over_alias(self):
|
||||
with patch.dict(os.environ, {"XIAOHONGSHU_COOKIE": "a1=official;", "XHS_COOKIE": "a1=alias;"}):
|
||||
self.assertEqual(get_platform_cookie("xiaohongshu"), "a1=official;")
|
||||
|
||||
def test_returns_empty_string_when_not_configured(self):
|
||||
with patch.dict(os.environ, {}, clear=True):
|
||||
cookie = get_platform_cookie("nonexistent_platform")
|
||||
|
||||
@@ -6,7 +6,7 @@ import unittest
|
||||
from unittest.mock import patch
|
||||
|
||||
from app import create_app
|
||||
from src.db import get_db, set_setting
|
||||
from src.db import get_db, set_setting, utcnow
|
||||
|
||||
SMTP_CONFIG = {"SMTP_HOST": "smtp.example.test", "SMTP_PORT": 465, "SMTP_SECURITY": "ssl",
|
||||
"SMTP_USER": "bot@example.test", "SMTP_PASSWORD": "x", "SMTP_FROM": "bot@example.test"}
|
||||
@@ -108,6 +108,17 @@ class EmailRegistrationTest(unittest.TestCase):
|
||||
with self.app.app_context():
|
||||
self.assertIsNone(get_db().execute("SELECT 1 FROM email_verification_codes").fetchone())
|
||||
|
||||
def test_send_code_respects_daily_quota(self):
|
||||
self.make_app(smtp=True)
|
||||
with self.app.app_context():
|
||||
set_setting("registration_daily_limit", "1")
|
||||
get_db().execute("INSERT INTO users(username,password_hash,created_at) VALUES('q','x',?)",
|
||||
(utcnow(),))
|
||||
get_db().commit()
|
||||
resp, code = self.send_code("quota@example.com")
|
||||
self.assertEqual(resp.status_code, 429)
|
||||
self.assertIsNone(code)
|
||||
|
||||
def test_admin_can_disable_email_verification(self):
|
||||
self.make_app(smtp=True)
|
||||
with self.app.app_context():
|
||||
|
||||
@@ -96,7 +96,7 @@ class XiaohongshuParserTest(unittest.TestCase):
|
||||
resp.text = '<script>window.__INITIAL_STATE__ = {"note": {"firstNoteId": "123", "noteDetailMap": {"123": {"note": {"title": "带Cookie标题", "imageList": []}}}}}</script>'
|
||||
|
||||
with patch("requests.Session.get", return_value=resp) as mock_get:
|
||||
with patch.dict(os.environ, {"XHS_COOKIE": "a1=test_cookie_value;"}):
|
||||
with patch.dict(os.environ, {"XIAOHONGSHU_COOKIE": "a1=test_cookie_value;", "XHS_COOKIE": ""}):
|
||||
parser = XiaohongshuParser("https://www.xiaohongshu.com/explore/123")
|
||||
self.assertEqual(parser.get_title_content(), "带Cookie标题")
|
||||
call_headers = mock_get.call_args[1]["headers"]
|
||||
@@ -112,7 +112,7 @@ class XiaohongshuParserTest(unittest.TestCase):
|
||||
resp.text = '<html><head><title>登录</title></head></html>'
|
||||
|
||||
with patch("requests.Session.get", return_value=resp):
|
||||
with patch.dict(os.environ, {"XHS_COOKIE": ""}):
|
||||
with patch.dict(os.environ, {"XIAOHONGSHU_COOKIE": "", "XHS_COOKIE": ""}):
|
||||
parser = XiaohongshuParser("https://www.xiaohongshu.com/explore/456")
|
||||
self.assertIsNotNone(parser.terminal_error)
|
||||
self.assertIn("需在后台系统设置中配置小红书 Cookie", parser.terminal_error["detail_msg"])
|
||||
@@ -123,7 +123,7 @@ class XiaohongshuParserTest(unittest.TestCase):
|
||||
import os
|
||||
resp = Mock(status_code=200, url=final_url, text="<html></html>")
|
||||
with patch("requests.Session.get", return_value=resp):
|
||||
with patch.dict(os.environ, {"XHS_COOKIE": ""}):
|
||||
with patch.dict(os.environ, {"XIAOHONGSHU_COOKIE": "", "XHS_COOKIE": ""}):
|
||||
return XiaohongshuParser("https://www.xiaohongshu.com/discovery/item/69fc84830000000023016c37")
|
||||
|
||||
def test_security_404_is_risk_control_not_deleted(self):
|
||||
|
||||
Reference in New Issue
Block a user