Amazonbot终于开始遵守robots.txt规则

Hacker News Top 新闻
amazonbot robots-txt web-crawler bot-behavior tech-news

摘要

Amazonbot，亚马逊的网络爬虫机器人，现已遵守robots.txt指令，这标志着其先前行为的改变。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/05/14 21:26

# Amazonbot 终于开始尊重 robots.txt 了 来源：https://xeiaso.net/notes/2026/amazonbot-respecting-robots-txt 由 Anubis（https://github.com/TecharoHQ/anubis）保护 来自 Techaro（https://techaro.lol/） 用 ❤️ 在 🇨🇦 制作 吉祥物设计来自 CELPHASE（https://bsky.app/profile/celphase.bsky.social） 本网站运行的 Anubis 版本为 `v1.25.0-49-g9f479f5`。

相似文章

阻止AI训练爬虫的网站大多忽略实时回答机器人

Hacker News Top

对排名前10000的网站的robots.txt文件研究发现，大多数网站阻止了像GPTBot这样的AI训练爬虫，却很大程度上忽略了像OAI-SearchBot这样的实时回答机器人，突显了当前网络在AI治理方面的盲点。

AI 在数据收集中如何遵循道德准则？

Reddit r/artificial

关于 AI 代理在生成爬虫时忽视 robots.txt 等网站规则的伦理挑战，以及 AI 提供商在不妨碍产品可用性的前提下实施护栏的责任的评论。