AgentBI 检测一个网站对 AI agent 的友好程度:agent 能不能抓到页面、商品数据能不能被机器读懂(JSON-LD 的价格/库存)、有没有部署 UCP manifest、有没有 llms.txt。
agentbi/0.1 (+https://agentbi.tech/about; agent-readiness scanner),不伪装成浏览器。检测里有一步是「多 UA 探测」:用几个真实 AI agent 的标识(GPTBot、ClaudeBot 等)和一个真实浏览器的标识各请求一次你的站点,对比返回是否不同——这是为了回答「你的站有没有把 AI agent 和正常访客区别对待」。这一步必须是真实标识才测得出来,所以这里是测量工具,不是匿名抓取。第二处:每日普查里,凡是对本扫描器返回非 200 的站,会额外用一个真实浏览器标识请求一次——为了把「这个站挡非浏览器客户端」和「我们的网络被挡」分开。除这两处外,所有内容抓取都用上面那个诚实的用户代理。
目前尚未实现 robots.txt 自动遵从——这是已知的待办。可用的退出通道有两个:
contact@agentbi.tech,回复 stop 即加入屏蔽清单检测结果会被公开收录进榜单。榜单只统计返回 200 的站点;对探测器返回非 200 的站点(多为企业级 WAF 拦截)不会出现在榜单里,也不会被解读为「该站 agent 友好度低」。每天重扫一次,原始结果(每个站一行、全字段)公开在 agentbi.tech/batch.json,这里的任何数字都可以自己重算。
这个工具也扫我们自己:55/100(2026-10-18),而这就是我们的上限。我们有 /llms.txt、点名并放行 AI agent 的 robots.txt、sitemap 与 JSON-LD;但我们不卖东西,所以 Product 结构化数据 与 UCP(100 分里的 45 分)我们拿不到。所以每份报告都另给一个通用可抓取分:可抓取性 + llms.txt + robots,满分 55 —— 商店站和我们这种站用同一把尺子,我们自己是 55/55。商业类建议(UCP、Product JSON-LD)单独分组,不做交易的站不用看。