整理部署配置并规范小红书 Cookie 变量优先级

This commit is contained in:
ucmao
2026-11-19 10:32:32 +08:00
parent efd2c25d9f
commit fd5c5e915f
15 changed files with 139 additions and 79 deletions
+15 -5
View File
@@ -33,9 +33,9 @@ TZ=Asia/Shanghai
# (大部分平台支持匿名免登录解析;当特定链接触发平台风控或需要鉴权时配置)
# ------------------------------------------
# 小红书 Cookie(支持 XHS_COOKIE 或 XIAOHONGSHU_COOKIE)
# 小红书 Cookie(支持 XIAOHONGSHU_COOKIE 或 XHS_COOKIE)
# 用于部分需要登录才能查看的小红书笔记
XHS_COOKIE=
XIAOHONGSHU_COOKIE=
# 快手 Cookie(支持 KUAISHOU_COOKIE 或 KS_COOKIE)
# 用于应对快手高频反爬拦截(result: 2 / ANTICRAWL_DEFAULT)
@@ -89,14 +89,24 @@ PROXY_FETCH_PER_SECOND=1
# ------------------------------------------
# 3. 邮件 / 注册邮箱验证 (SMTP,可选)
# 留空 SMTP_HOST 即关闭邮箱验证,注册仍为"用户名 + 密码";配置后注册需邮箱验证码(可在后台「系统设置」关闭)
# 修改后需执行 docker compose up -d 重建容器才会生效(restart 不会读取新的环境变量)
#
# 常用邮箱参考(值不要加引号):
# QQ 邮箱 SMTP_HOST=smtp.qq.com SMTP_PORT=465 SMTP_SECURITY=ssl
# 163 邮箱 SMTP_HOST=smtp.163.com SMTP_PORT=465 SMTP_SECURITY=ssl
# 腾讯企业邮 SMTP_HOST=smtp.exmail.qq.com SMTP_PORT=465 SMTP_SECURITY=ssl
# 阿里企业邮 SMTP_HOST=smtp.qiye.aliyun.com SMTP_PORT=465 SMTP_SECURITY=ssl
# 云服务器若封了 465 端口,改用 SMTP_PORT=587 SMTP_SECURITY=starttls;25 端口在多数云厂商被封,不建议使用
# ------------------------------------------
SMTP_HOST=
# 端口与加密方式:465 + ssl(默认)、587 + starttls、25 + none
SMTP_PORT=465
# ssl / starttls / none
SMTP_SECURITY=ssl
# 完整邮箱地址,例如 123456789@qq.com(不能只写 QQ 号)
SMTP_USER=
# 多数邮箱(QQ / 163 / 阿里企业邮)需填写"授权码"而不是登录密码
# QQ / 163 需填写"授权码"(邮箱设置 → 账号 → 开启 IMAP/SMTP 服务后生成),不是登录密码
SMTP_PASSWORD=
# 发件地址,留空默认使用 SMTP_USER
# 发件地址,留空默认使用 SMTP_USER;QQ / 163 要求与 SMTP_USER 一致,否则报 501/553
SMTP_FROM=
# 收件人看到的发件人名称
SMTP_FROM_NAME=Media Parser
+79 -23
View File
@@ -44,7 +44,7 @@ Media-Parser是一款专为短视频创作者与开发者打造的**100%原生
* **原生自主**:100% 本地代码闭环抓取,零外部商用 API 或第三方代解析依赖,数据链路自主可控,杜绝断流与隐私泄露风险。
* **插件化解耦**:内置 `ParserFactory` 模块自动发现与工厂分发机制,50 个平台独立解耦,遵循统一的数据契约,新增与维护平台极度轻松(详见 [📖 系统架构与生命周期](docs/architecture.md))。
* **开箱即用**:提供标准 JSON 接口、Web 体验页与轻量运营控制台,默认内置 SQLite,Docker Compose 一键构建。
* **访问控制**:支持客户注册、管理员配置有效期与积分、API Key 管理、全局与单平台开关、用户总量/单个密钥/平台全局三级 QPS 限流和调用日志。
* **访问控制**:支持客户注册(可选 SMTP 邮箱验证码)、管理员配置有效期与积分、API Key 管理、全局与单平台开关、用户总量/单个密钥/平台全局三级 QPS 限流和调用日志。
---
@@ -104,38 +104,47 @@ Media-Parser是一款专为短视频创作者与开发者打造的**100%原生
| **央视频** | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | | | | | [查看](docs/parsers/yangshipin.md) |
<sub>注:带 `*` 的项表示该素材保留官方原生水印,未带 `*` 的项均为纯净无水印素材。</sub>
> **Cookie凭据配置**:绝大多数平台支持免登录匿名解析;如需配置小红书、视频号等平台凭证,可参考 [`.env.example`](.env.example),详细方法见 [📖 平台Cookie配置指南](docs/cookie-config.md)。
>
> **动态代理配置**:配置 `DYNAMIC_PROXY_API_URL` 后,默认在 Cookie 校验失败时自动触发平台级 15 分钟代理访问;高解析量场景可切换为「始终走代理」,每次解析从 IP 池轮换分配出口。详见 [📖 动态代理配置说明](docs/proxy-retry.md)。
>
> **逆向与抓包SOP**:各平台详细技术分析与抓包规范,请查阅 [📖 平台逆向指南索引](docs/index.md) 与 [📖 通用逆向方法论](docs/reverse-guide.md)。
---
## 🚀 部署指南
### 1. 运行模式选择
> 阅读顺序:**选择运行模式(第 1 节)→ 启动服务(第 2 节)→ 按所选模式完成配置(第 3 或第 4 节,二选一)→ 通用增强配置(第 5 节,可选)**。
系统支持两种部署形态,根据你的实际使用场景按需选择:
### 1. 选择运行模式
| 运行模式 | 配置参数 | 适用场景 | 特性与说明 |
| :--- | :--- | :--- | :--- |
| **纯API微服务模式** | `API_ONLY=true` | 内部微服务、Bot/下载器后端、本地集成 | **开箱即用,免鉴权**:彻底关闭Web前后端,全接口无需API Key直接调用,零数据库开销,适合高并发与多容器扩展。 |
| **完整运营SaaS模式** | `API_ONLY=false`(默认) | 独立自建站点、发卡运营、多用户管理 | **带Web前后台**:提供前台体验页、用户中心、管理后台,支持API Key鉴权、积分扣除与多级QPS限流。 |
系统通过一个环境变量 `API_ONLY` 切换两种部署形态,根据你的实际使用场景按需选择:
| | **纯API微服务模式** | **完整运营SaaS模式** |
| :--- | :--- | :--- |
| 启用方式 | `API_ONLY=true` | `API_ONLY=false`(默认) |
| 适用场景 | 内部微服务、Bot/下载器后端、本地集成 | 独立自建站点、发卡运营、多用户管理 |
| 接口鉴权 | 免鉴权,直接调用 | API Key 鉴权 |
| Web 页面 | 无,仅提供解析接口 | 前台体验页、用户中心、管理后台 |
| 用户与计费 | 无 | 注册登录、积分扣除、多级 QPS 限流、调用日志 |
| 特点 | 零数据库开销,适合高并发与多容器扩展 | 开箱即可对外运营 |
> 平台 Cookie、动态代理、CORS 等解析相关配置两种模式通用,见 [第 5 节](#5-通用增强配置可选两种模式均生效)。
---
### 2. Docker Compose 部署(推荐)
### 2. 启动服务
#### Docker Compose 部署(推荐)
需要 Docker Compose **v2.24 及以上**(可通过 `docker compose version` 查看)。
```bash
# 1. 获取源码
git clone https://github.com/ucmao/media-parser.git
cd media-parser
# 2. (可选)配置环境变量与平台 Cookie
# 2. 创建配置文件(全部配置项均可选,留空即使用默认值)
cp .env.example .env
# 若作为纯微服务运行,只需在 .env 中设置 API_ONLY=true
# 若需配置小红书/视频号等 Cookie 凭证,直接在 .env 中填入对应字段
# 纯API微服务模式:在 .env 中设置 API_ONLY=true
# 完整运营SaaS模式:保持默认 API_ONLY=false 即可
# 3. 构建并启动服务
docker compose up -d --build
@@ -144,24 +153,71 @@ docker compose up -d --build
docker compose logs -f web
```
**启动后的使用指引**:
- **微服务模式**:无需任何初始化,服务就绪后直接调用接口即可。
- **运营模式**:首次部署请访问 `http://localhost:8051/auth/setup` 创建管理员账号,初始化完成后入口自动关闭。数据默认持久化在 `./data` 目录。
> **修改 `.env` 后**需执行 `docker compose up -d` 重建容器才会生效(`docker compose restart` 不会读取新的环境变量)。
---
#### Python 本地运行
### 3. Python 本地运行
适用于调试与二次开发,推荐 **Python 3.10+**:
适用于调试与二次开发,推荐 **Python 3.10+**,启动时会自动读取项目根目录的 `.env`:
```bash
# 1. 安装依赖
pip install -r requirements.txt
# 2. 启动服务
# 2. 启动服务(默认端口 8051)
python app.py
```
服务就绪后可访问 `http://localhost:8051/api/health` 检查运行状态。
---
### 3. 纯API微服务模式(`API_ONLY=true`)
- **无需任何初始化**:服务启动后直接调用 `/api/v1/parse` 即可,调用方式见下方 [API 接口](#-api-接口) 的「方式 A」。
- **不加载任何 Web 页面**:首页、登录 / 注册、用户中心、管理后台均返回 404;API Key、积分、限流与调用日志全部关闭。
- **以下配置不生效,无需填写**:管理后台的各项开关、`API_BASE_URL`、`SMTP_*` 邮件配置等。
- 如需增强特定平台的解析能力,参见 [5. 通用增强配置](#5-通用增强配置可选两种模式均生效)。
---
### 4. 完整运营SaaS模式(`API_ONLY=false`,默认)
#### 4.1 首次初始化
首次部署请访问 `http://localhost:8051/auth/setup` 创建管理员账号,初始化完成后入口自动关闭。数据默认持久化在 `./data` 目录(用户、API Key、开关配置与调用日志)。
#### 4.2 后台运营开关
登录管理后台「系统设置」即可在线调整,无需重启:
* **全局开关**:API 服务总开关、前台首页、首页在线体验。
* **用户注册**:是否开放注册、每日注册上限,以及新账号默认的 QPS、试用天数与赠送积分。
* **安全防护**:IP 黑名单(命中后注册、登录、接口调用全部拒绝)。
> 「前台首页」与「用户注册」是两个独立开关:关闭首页只影响网站首页,登录 / 注册页仍可访问;如需停止新用户注册,请关闭「开放用户注册」。
#### 4.3 注册邮箱验证(可选)
默认仅需用户名 + 密码注册;在 `.env` 中配置 `SMTP_*` 后,注册需邮箱验证码(可在后台关闭)。填写示例见 [`.env.example`](.env.example)。
#### 4.4 部署在反向代理之后
使用 Nginx / Caddy 等反向代理时,建议设置:
* `TRUST_PROXY_HEADERS=true`:从代理传递的请求头中获取真实客户端 IP,保证限流、IP 黑名单与注册防护按真实 IP 生效。
* `API_BASE_URL=https://api.yourdomain.com`:控制台与接口文档中展示的对外访问地址。
---
### 5. 通用增强配置(可选,两种模式均生效)
以下配置作用于解析引擎本身,与运行模式无关,全部在 `.env` 中填写:
* **平台 Cookie 凭据**:绝大多数平台支持免登录匿名解析;如需配置小红书、视频号等平台凭证,可参考 [`.env.example`](.env.example),详细方法见 [📖 平台Cookie配置指南](docs/cookie-config.md)。运营模式下也可在管理后台在线覆盖。
* **动态代理**:配置 `DYNAMIC_PROXY_API_URL` 后,默认在 Cookie 校验失败时自动触发平台级 15 分钟代理访问;高解析量场景可切换为「始终走代理」,每次解析从 IP 池轮换分配出口。详见 [📖 动态代理配置说明](docs/proxy-retry.md)。
* **跨域访问**:`CORS_ORIGINS` 控制允许跨域调用 `/api/*` 的来源,默认 `*`,多个来源用逗号分隔。
* **服务端口**:`WEB_PORT`,默认 `8051`。
---
## 🔌 API 接口
+1 -3
View File
@@ -46,9 +46,7 @@ def create_app(config=None):
app.config['DATABASE'] = os.getenv(
'DATABASE_PATH', os.path.join(app.instance_path, 'media_parser.db')
)
proxy_url = (os.getenv('DYNAMIC_PROXY_API_URL') or os.getenv('JULIANG_PROXY_API_URL') or '').strip()
app.config['DYNAMIC_PROXY_API_URL'] = proxy_url
app.config['JULIANG_PROXY_API_URL'] = proxy_url
app.config['DYNAMIC_PROXY_API_URL'] = (os.getenv('DYNAMIC_PROXY_API_URL') or '').strip()
app.config['PROXY_MODE'] = (os.getenv('PROXY_MODE') or '').strip().lower()
app.config['PROXY_POOL_SIZE'] = (os.getenv('PROXY_POOL_SIZE') or '').strip()
app.config['PROXY_FETCH_PER_SECOND'] = (os.getenv('PROXY_FETCH_PER_SECOND') or '').strip()
+8 -29
View File
@@ -18,35 +18,14 @@ services:
- ./logs:/app/logs
# 持久化用户、API Key、开关和调用日志
- ./data:/app/data
# 基础运行环境(开箱即用,无需配置 Cookie 即可直接启动)
# 全部配置写在 .env 中(参考 .env.example),整体传入容器;文件不存在时使用默认值启动
env_file:
- path: .env
required: false
# 以下为容器内固定值,优先级高于 .env
environment:
- TZ=Asia/Shanghai
# 后端监听端口(默认 8051,改一处即同时作用于映射与健康检查)
- TZ=${TZ:-Asia/Shanghai}
# 后端监听端口(默认 8051,改一处即同时作用于映射与健康检查)
- WEB_PORT=${WEB_PORT:-8051}
- SECRET_KEY=${SECRET_KEY:-}
# 数据库固定在挂载目录 ./data 中,避免容器重建后数据丢失
- DATABASE_PATH=/app/data/media_parser.db
- TRUST_PROXY_HEADERS=${TRUST_PROXY_HEADERS:-false}
# 纯 API / 微服务模式(开启后不挂载 Web UI,全接口免 API Key 直接调用且不写请求日志)
- API_ONLY=${API_ONLY:-false}
# Cookie 触发的动态代理提取地址
- DYNAMIC_PROXY_API_URL=${DYNAMIC_PROXY_API_URL:-${JULIANG_PROXY_API_URL:-}}
- PROXY_MODE=${PROXY_MODE:-auto}
- PROXY_POOL_SIZE=${PROXY_POOL_SIZE:-2}
- PROXY_FETCH_PER_SECOND=${PROXY_FETCH_PER_SECOND:-1}
# 可选 SMTP:未设置 SMTP_HOST 时注册无需邮箱验证
- SMTP_HOST=${SMTP_HOST:-}
- SMTP_PORT=${SMTP_PORT:-}
- SMTP_SECURITY=${SMTP_SECURITY:-}
- SMTP_USER=${SMTP_USER:-}
- SMTP_PASSWORD=${SMTP_PASSWORD:-}
- SMTP_FROM=${SMTP_FROM:-}
- SMTP_FROM_NAME=${SMTP_FROM_NAME:-}
# 可选平台凭据(若在本地 .env 中配置将自动透传进容器):
- XHS_COOKIE=${XHS_COOKIE:-}
- DOUYIN_COOKIE=${DOUYIN_COOKIE:-}
- DOUBAO_COOKIE=${DOUBAO_COOKIE:-}
- YUANBAO_COOKIE=${YUANBAO_COOKIE:-}
- PINDUODUO_COOKIE=${PINDUODUO_COOKIE:-}
- KUAISHOU_COOKIE=${KUAISHOU_COOKIE:-}
- JIMENG_COOKIE=${JIMENG_COOKIE:-}
- WEIBO_COOKIE=${WEIBO_COOKIE:-}
+5 -5
View File
@@ -10,7 +10,7 @@
| 平台名称 | 环境变量 Key | 别名支持 | 必要性 / 使用场景 | 推荐精简字段 |
| :--- | :--- | :--- | :--- | :--- |
| **小红书** | `XHS_COOKIE` | `XIAOHONGSHU_COOKIE` | 🟡 **兜底 (防风控)**:日常免 Cookie 解析;机房 IP 遭遇 302 登录拦截时配置 | `a1=xxx; webId=xxx; web_session=xxx;` |
| **小红书** | `XIAOHONGSHU_COOKIE` | `XHS_COOKIE` | 🟡 **兜底 (防风控)**:日常免 Cookie 解析;机房 IP 遭遇 302 登录拦截时配置 | `a1=xxx; webId=xxx; web_session=xxx;` |
| **微信视频号** | `YUANBAO_COOKIE` | `WECHAT_CHANNELS_COOKIE` | 🔐 **必需 (媒体流与标题)**:提取视频号无水印视频直链、视频标题与高清图集(微信官方加强了匿名 `generalToken` 鉴权,匿名模式下视频直链与标题为空,必须依赖元宝 Cookie) | `hy_user=xxx; hy_token=xxx;` |
| **快手** | `KUAISHOU_COOKIE` | `KS_COOKIE` | 🟡 **兜底 (防风控)**:日常免 Cookie 解析;触发 `result: 2` 反爬时配置 | `kpf=PC_WEB; kpn=KUAISHOU_VISION; did=xxx;` |
| **拼多多** | `PINDUODUO_COOKIE` | `PDD_COOKIE` | 🟡 **增强 (部分依赖)**:实物/评价秀免 Cookie;多多视频短视频流解析需要 | `PDDAccessToken=xxx;` |
@@ -50,7 +50,7 @@ flowchart TD
YUANBAO_COOKIE="hy_user=xxx; hy_token=xxx;"
# 小红书
XHS_COOKIE="a1=xxx; webId=xxx; web_session=xxx;"
XIAOHONGSHU_COOKIE="a1=xxx; webId=xxx; web_session=xxx;"
```
YUANBAO_COOKIE="hy_user=xxx; hy_token=yyy;"
@@ -93,14 +93,14 @@ docker compose up -d
## 3. 各平台 Cookie 提取步骤 (How-to Guide)
### 3.1 小红书 (`XHS_COOKIE`)
### 3.1 小红书 (`XIAOHONGSHU_COOKIE`)
1. 使用电脑浏览器打开 [小红书网页版 (xiaohongshu.com)](https://www.xiaohongshu.com/) 并登录账号。
2. 按 `F12` 打开浏览器开发者工具,切换到 **Application (应用) -> Cookies -> https://www.xiaohongshu.com**。
3. 提取以下核心字段拼装成字符串:
```text
a1=你的a1值; webId=你的webId值; web_session=你的web_session值;
```
4. 填入 `.env` 中的 `XHS_COOKIE`。
4. 填入 `.env` 中的 `XIAOHONGSHU_COOKIE`。
### 3.2 腾讯元宝 / 微信视频号 (`YUANBAO_COOKIE`)
> 视频号解析依托腾讯元宝的官方智能联网协议,因此需配置腾讯元宝登录态。
@@ -231,7 +231,7 @@ docker compose up -d
| 错误码 (`error_code`) | 含义说明 | 解决方案 |
| :--- | :--- | :--- |
| `XIAOHONGSHU_COOKIE_REQUIRED` | 小红书触发服务器 IP 拦截,需要登录 Cookie 校验 | 在 `.env` 中配置或更新 `XHS_COOKIE` |
| `XIAOHONGSHU_COOKIE_REQUIRED` | 小红书触发服务器 IP 拦截,需要登录 Cookie 校验 | 在 `.env` 中配置或更新 `XIAOHONGSHU_COOKIE` |
| `KUAISHOU_COOKIE_REQUIRED` | 快手触发反爬风控校验(`result: 2` / `ANTICRAWL_DEFAULT`) | 在 `.env` 中配置或更新 `KUAISHOU_COOKIE` |
| `WECHAT_CHANNELS_COOKIE_REQUIRED` | 视频号缺少腾讯元宝凭证,无法提取无水印流 | 在 `.env` 中配置有效的 `YUANBAO_COOKIE` |
| `PINDUODUO_COOKIE_REQUIRED` | 拼多多短视频接口返回 403 鉴权失败 | 在 `.env` 中配置最新的 `PINDUODUO_COOKIE` |
+1 -1
View File
@@ -108,7 +108,7 @@ DOUBAO_COOKIE="sessionid_ss=your_doubao_sessionid_ss"
YUANBAO_COOKIE="hy_user=xxx; hy_token=yyy;"
# 3. 小红书防风控 / 高频解析 (可选,解决服务器 IP 遭遇的 302 登录拦截)
XHS_COOKIE="a1=xxx; webId=yyy; web_session=zzz;"
XIAOHONGSHU_COOKIE="a1=xxx; webId=yyy; web_session=zzz;"
# 4. 抖音 LivePhoto 实况流 / 放映厅 (可选,常规短视频免 Cookie 毫秒级直出;云端提取实况动图流可填入含 UIFID 的 Cookie)
DOUYIN_COOKIE="UIFID=xxx; passport_csrf_token=yyy;"
+1 -1
View File
@@ -19,7 +19,7 @@
* 网页探索长链:`https://www.xiaohongshu.com/explore/6a8fbccc000000002a03825a`
* **Cookie 依赖**:
* **建议配置**:小红书针对高频/服务器 IP 匿名抓取会频繁发起风控并 302 重定向至 `/login` 登录页。
* **配置方式**:在 `.env` 或 Docker 环境中配置 `XHS_COOKIE="a1=...; webId=...; web_session=..."`。
* **配置方式**:在 `.env` 或 Docker 环境中配置 `XIAOHONGSHU_COOKIE="a1=...; webId=...; web_session=..."`。
* **核心字段**:仅需包含设备凭据 `a1`、访客 `webId` 或登录凭证 `web_session`。配置后解析成功率可达 99%+。
---
+2
View File
@@ -267,6 +267,8 @@ def register_send_code():
return fail("请输入有效的邮箱地址")
if _email_taken(email):
return fail("该邮箱已注册,请直接登录")
if registration_quota_exceeded():
return fail("今日注册名额已满,请明天再试或联系管理员开通", 429)
client_ip = get_client_ip()
email_digest = hashlib.sha256(email.encode()).hexdigest()
+1 -1
View File
@@ -28,7 +28,7 @@ class XiaohongshuParser(BaseParser):
pc_ua = USER_AGENT_PC[0] if USER_AGENT_PC else "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36"
mobile_ua = USER_AGENT_M[0] if USER_AGENT_M else "Mozilla/5.0 (iPhone; CPU iPhone OS 17_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Mobile/15E148 Safari/604.1"
cookie = get_platform_cookie("xhs")
cookie = get_platform_cookie("xiaohongshu")
# 优先使用 PC 端 UA 请求以获得无水印高品质音视频流与原图,若失败再回退至移动端 UA
candidate_uas = [pc_ua, mobile_ua]
+4 -4
View File
@@ -21,8 +21,8 @@ def without_platform_cookies():
# 平台 Cookie 环境变量及别名映射表
PLATFORM_COOKIE_ALIASES = {
"xhs": ["XHS_COOKIE", "XIAOHONGSHU_COOKIE"],
"xiaohongshu": ["XHS_COOKIE", "XIAOHONGSHU_COOKIE"],
"xhs": ["XIAOHONGSHU_COOKIE", "XHS_COOKIE"],
"xiaohongshu": ["XIAOHONGSHU_COOKIE", "XHS_COOKIE"],
"pinduoduo": ["PINDUODUO_COOKIE", "PDD_COOKIE"],
"douyin": ["DOUYIN_COOKIE", "DY_COOKIE"],
"yuanbao": ["YUANBAO_COOKIE", "WECHAT_CHANNELS_COOKIE"],
@@ -47,9 +47,9 @@ def get_platform_cookie(platform_key: str, env_var: str | None = None) -> str:
按优先级依次检查:
1. 后台数据库系统配置 (system_settings 表中的 cookie_{platform});
2. 指定的环境变量 (如 env_var="XHS_COOKIE");
2. 指定的环境变量 (如 env_var="XIAOHONGSHU_COOKIE");
3. 标准环境变量 ({PLATFORM}_COOKIE);
4. 别名列表 (如 XIAOHONGSHU_COOKIE)。
4. 别名列表 (如 XHS_COOKIE)。
"""
if cookies_suppressed():
return ""
+1 -1
View File
@@ -98,7 +98,7 @@ COOKIE_REGISTRY = {
"xiaohongshu": {
"platform_name": "小红书",
"db_keys": ["cookie_xiaohongshu"],
"env_keys": ["XHS_COOKIE", "XIAOHONGSHU_COOKIE"],
"env_keys": ["XIAOHONGSHU_COOKIE", "XHS_COOKIE"],
"required_fields": [],
"optional_fields": ["a1", "webId", "web_session"],
"severity": "fallback",
+1 -1
View File
@@ -350,7 +350,7 @@
class="font-semibold text-slate-900 flex items-center gap-2">
<span>小红书 (Xiaohongshu)</span>
</label>
<span class="text-[11px] text-slate-400">留空读取: <code>XHS_COOKIE</code></span>
<span class="text-[11px] text-slate-400">留空读取: <code>XIAOHONGSHU_COOKIE</code></span>
</div>
<textarea id="cookie_xiaohongshu" name="cookie_xiaohongshu" rows="2"
placeholder="推荐精简字段: a1=xxx; webId=xxx; web_session=xxx;"
+5 -1
View File
@@ -17,10 +17,14 @@ class CookieManagerTest(unittest.TestCase):
self.assertEqual(cookie, "token=custom_456;")
def test_falls_back_to_alias_env(self):
with patch.dict(os.environ, {"XIAOHONGSHU_COOKIE": "a1=from_alias_789;", "XHS_COOKIE": ""}):
with patch.dict(os.environ, {"XHS_COOKIE": "a1=from_alias_789;", "XIAOHONGSHU_COOKIE": ""}):
cookie = get_platform_cookie("xiaohongshu")
self.assertEqual(cookie, "a1=from_alias_789;")
def test_xiaohongshu_official_name_wins_over_alias(self):
with patch.dict(os.environ, {"XIAOHONGSHU_COOKIE": "a1=official;", "XHS_COOKIE": "a1=alias;"}):
self.assertEqual(get_platform_cookie("xiaohongshu"), "a1=official;")
def test_returns_empty_string_when_not_configured(self):
with patch.dict(os.environ, {}, clear=True):
cookie = get_platform_cookie("nonexistent_platform")
+12 -1
View File
@@ -6,7 +6,7 @@ import unittest
from unittest.mock import patch
from app import create_app
from src.db import get_db, set_setting
from src.db import get_db, set_setting, utcnow
SMTP_CONFIG = {"SMTP_HOST": "smtp.example.test", "SMTP_PORT": 465, "SMTP_SECURITY": "ssl",
"SMTP_USER": "bot@example.test", "SMTP_PASSWORD": "x", "SMTP_FROM": "bot@example.test"}
@@ -108,6 +108,17 @@ class EmailRegistrationTest(unittest.TestCase):
with self.app.app_context():
self.assertIsNone(get_db().execute("SELECT 1 FROM email_verification_codes").fetchone())
def test_send_code_respects_daily_quota(self):
self.make_app(smtp=True)
with self.app.app_context():
set_setting("registration_daily_limit", "1")
get_db().execute("INSERT INTO users(username,password_hash,created_at) VALUES('q','x',?)",
(utcnow(),))
get_db().commit()
resp, code = self.send_code("quota@example.com")
self.assertEqual(resp.status_code, 429)
self.assertIsNone(code)
def test_admin_can_disable_email_verification(self):
self.make_app(smtp=True)
with self.app.app_context():
+3 -3
View File
@@ -96,7 +96,7 @@ class XiaohongshuParserTest(unittest.TestCase):
resp.text = '<script>window.__INITIAL_STATE__ = {"note": {"firstNoteId": "123", "noteDetailMap": {"123": {"note": {"title": "带Cookie标题", "imageList": []}}}}}</script>'
with patch("requests.Session.get", return_value=resp) as mock_get:
with patch.dict(os.environ, {"XHS_COOKIE": "a1=test_cookie_value;"}):
with patch.dict(os.environ, {"XIAOHONGSHU_COOKIE": "a1=test_cookie_value;", "XHS_COOKIE": ""}):
parser = XiaohongshuParser("https://www.xiaohongshu.com/explore/123")
self.assertEqual(parser.get_title_content(), "带Cookie标题")
call_headers = mock_get.call_args[1]["headers"]
@@ -112,7 +112,7 @@ class XiaohongshuParserTest(unittest.TestCase):
resp.text = '<html><head><title>登录</title></head></html>'
with patch("requests.Session.get", return_value=resp):
with patch.dict(os.environ, {"XHS_COOKIE": ""}):
with patch.dict(os.environ, {"XIAOHONGSHU_COOKIE": "", "XHS_COOKIE": ""}):
parser = XiaohongshuParser("https://www.xiaohongshu.com/explore/456")
self.assertIsNotNone(parser.terminal_error)
self.assertIn("需在后台系统设置中配置小红书 Cookie", parser.terminal_error["detail_msg"])
@@ -123,7 +123,7 @@ class XiaohongshuParserTest(unittest.TestCase):
import os
resp = Mock(status_code=200, url=final_url, text="<html></html>")
with patch("requests.Session.get", return_value=resp):
with patch.dict(os.environ, {"XHS_COOKIE": ""}):
with patch.dict(os.environ, {"XIAOHONGSHU_COOKIE": "", "XHS_COOKIE": ""}):
return XiaohongshuParser("https://www.xiaohongshu.com/discovery/item/69fc84830000000023016c37")
def test_security_404_is_risk_control_not_deleted(self):