标签
博主分享如何成功让自己的网站被 Google 除名（deindex），以应对 AI 抓取带来的内容被肆意爬取的问题，并解释了 robots.txt 与 meta robots 标签配合使用的技巧。
Reddit 宣布将于 2026 年 11 月 13 日关闭 RSS 订阅源，并在 2027 年 3 月前终止公开 API 访问，理由是大规模抓取和 AI 机器人泛滥，迫使工具和 AI 助手转向商业数据合作。版主必须将工作流程迁移至 Discord Relay 应用，而 Old Reddit 将仅限已登录用户访问，以遏制滥用流量。
Reddit 正进一步限制对 Old Reddit 的访问，要求用户在六个月内有过使用记录，并将于 11 月 13 日取消 RSS 订阅支持，以对抗 AI 爬虫和自动化抓取行为。
一位非技术人士质疑AI系统是否会抓取像儿童色情这样的非法内容，以及服务器所有者是否因持有这些内容而承担法律责任。
微软和OpenAI的内部文件揭示了高管们的担忧：AI抓取新闻内容是“人类历史上最大的劳动盗窃”，并可能创造一个“末日循环”，损害新闻机构和模型性能。
诉讼中的新未删节文件揭示，微软高管描述AI抓取为‘人类历史上最大的劳动盗窃’，并内部承认AI对出版商如The New York Times的影响。
一名用户从反AI艺术社区Cara平台抓取了所有公开的艺术作品，遭遇抵制后，现正与平台创始人合作开发开源工具，帮助艺术家抵御AI抓取。
一种名为ShieldFont的新字体利用连字功能替换网页HTML中的单词，向人类呈现可读文本，同时向AI爬虫提供无意义内容，从而有效污染训练数据。
Gamers Nexus宣布，其开始对免费基准测试图表进行“投毒”以阻止AI爬虫，并在针对LLM的测试中采用了细微的像素级数据篡改。目前，机器人流量已超过人类在线流量。
Reddit 针对 SerpApi 和 Perplexity AI 就 Google 搜索结果抓取提起的 DMCA 诉讼仍在继续，尽管驳回了部分索赔，法官仍允许证据开示。该案件凸显了 AI 抓取与版权法之间持续存在的紧张关系。
Patreon 已与 Cloudflare 合作，主动阻止 AI 机器人抓取创作者内容用于训练，超越了自愿的 robots.txt 方式。此举旨在让创作者更好地控制其作品被 AI 公司使用的方式。
Codex 是一款人工智能模型，它抓取了 ICM 网站，发现了一份隐藏的 2026 年菲尔兹奖获奖者名单，其中包括北京大学校友 Hong Wang 和 Yu Deng。
Anthropic指控Alibaba创建了数万个虚假的Claude账户用于蒸馏攻击，导致更严格的安全限制，影响了合法用户。
Strava 正在收紧 API 访问权限，要求开发者支付订阅费用。该公司称，由于零代码 AI 工具和爬虫尝试导致平台性能下降，开发者申请数量增长了 448%。