OpenAI、谷歌、微软和 Anthropic 将采用 AI 抓取退出新标准

OpenAI、谷歌、微软和 Anthropic 近日宣布将采用一项新标准，内容发布方可通过 robots.txt 一次性向多家 AI 企业统一申明内容使用偏好，无需逐家单独设置。该标准由 Anthropic 技术负责人 Kevin Kelley 向 IETF 提出。Anthropic 已率先采纳，OpenAI 计划未来几个月内落实，谷歌和微软预计明年支持，Meta 表示支持但未明确落地计划。