关于 AgentBI
跨境电商独立站的 Agent 可扫描情报平台。
这是什么
AgentBI 检测一个网站对 AI agent 的友好程度：agent 能不能抓到页面、商品数据能不能被机器读懂（JSON-LD 的价格 / 库存）、有没有部署 UCP manifest、有没有 llms.txt。判定标准公开在 100 项清单里，本站不重新判定。
我们怎么抓
- 只在有人提交网址时才抓，不是全网持续爬取。
- 用户代理标识为 agentbi/0.1 (+https://agentbi.tech/about; agent-readiness scanner)，不伪装成浏览器。
- 单次体检对同一站点发起约 10 个请求，耗时 15–20 秒。
- 同一域名 10 分钟内只真扫一次，结果缓存 30 分钟。
有两处例外，说明一下
「多 UA 探测」会用几个真实 AI agent 标识与一个真实浏览器标识各请求一次，对比返回是否不同 —— 这是为了回答「你的站有没有把 AI agent 和正常访客区别对待」，必须用真实标识才测得出来。第二处：每日普查里对扫描器返回非 200 的站，会额外用一个真实浏览器标识请求一次，把「站挡非浏览器客户端」和「我们的网络被挡」分开。除此之外全部使用上面那个诚实的用户代理。
数据
每日 04:30 从固定观察者出口跑一遍主池站点，与上一份快照逐字段比对；原始结果（每站一行、全字段）公开在 agentbi.tech/batch.json，任何数字都能自己重算。所有数字都标注出口（vantage）—— 区域跳转、区域目录与本币标价会让同一个站在不同出口给出不同答案。
不想被扫
robots.txt 自动遵从仍是已知待办。目前有两个退出通道：
- （推荐）用 GitHub 的「要求停止扫描」模板开一个 issue，我们把域名加进抓取前检查的屏蔽清单。
- 或发邮件到 contact@agentbi.tech，回复 stop 即加入屏蔽清单。
我们自己的分数
我们用自己的清单量自己：M1 已部署 llms.txt、逐 agent 声明的 robots.txt、sitemap、结构化数据与 /.well-known/ucp。但最新的自扫要在部署后用公网地址跑 —— 本地扫描器按设计拒绝非公网地址（防 SSRF），所以这里不报一个本地凑出来的分数。历史记录：2026-10-18 旧站实测 55/100，仅作记录。