搜索与 AI
网络爬虫是什么？
Web Crawler
自动浏览网页、抓取内容的程序，也常被称为 bot。
搜索引擎与 AI 都靠它读网站
Google 用 Googlebot 抓取网页、建立搜索索引；AI 公司也有自己的爬虫，例如 OpenAI 的 GPTBot、Anthropic 的 ClaudeBot。爬虫访问时会报上名称（User-agent），网站可以依名称在 robots.txt 设置规则。
同一家公司，爬虫用途可能不同
主要 AI 厂商把爬虫分成训练用、搜索用，以及用户在对话中提出要求时才去打开网页的类型。拦掉其中一种，不代表其他用途也一并停止；设置前要看各家的官方说明。
参考资料
- OpenAI：Overview of OpenAI Crawlers
- Anthropic：Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Google Search Central：Google 的常见检索器
最近查核：