AI 爬虫 robots.txt 检查器

在浏览器本地检查 OAI-SearchBot、GPTBot、ClaudeBot、Claude-SearchBot 和 PerplexityBot 对指定路径的 robots.txt 规则。

不上传

粘贴 robots.txt 并输入路径或 URL，即可按规则检查 OAI-SearchBot、GPTBot、ClaudeBot、Claude-SearchBot 和 PerplexityBot。内容只在当前浏览器中处理，不会上传或主动请求目标网站。

robots.txt 内容最多 512 KiB；内容仅在当前浏览器中处理。要检查的路径或 URL例如 /docs/ai.html，最多 2048 个字符。

检查结果

输入内容并点击“分析规则”后查看结果。

如何检查 AI 爬虫规则

粘贴 robots.txt
输入要检查的路径
查看每个 AI 爬虫的匹配组与生效规则

结果边界

robots.txt 是给合规爬虫的建议，不是访问控制，也不能证明请求方身份。敏感内容仍需使用身份验证、授权和服务器端限制保护。

本地隐私模式

所有输入和分析均停留在当前浏览器页面；页面不会写入 URL、浏览器存储、日志或分析埋点。