标签
对排名前10000的网站的robots.txt文件研究发现，大多数网站阻止了像GPTBot这样的AI训练爬虫，却很大程度上忽略了像OAI-SearchBot这样的实时回答机器人，突显了当前网络在AI治理方面的盲点。