少复用软件
摘要
本文讨论了一个网站使用Anubis(一种工作量证明系统)来防止AI公司的大规模爬取,凸显了内容提供者与AI数据收集之间持续存在的斗争。
<p><a href="https://lobste.rs/s/3mg7xo/reuse_less_software">评论</a></p>
查看缓存全文
缓存时间: 2026/06/11 17:35
# 确认您不是机器人!
来源:https://wiki.alopex.li/ReuseLessSoftware
加载中……
**为什么我会看到这个页面?**
您看到此页面,是因为本网站管理员已部署 [Anubis](https://github.com/TecharoHQ/anubis) 来保护服务器免受 [AI 公司 aggressively scraping 网站](https://thelibre.news/foss-infrastructure-is-under-attack-by-ai-companies/) 的侵害。此类行为可能导致网站宕机,使资源无法被所有人访问。
Anubis 是一种折衷方案。它采用类似 [Hashcash](https://en.wikipedia.org/wiki/Hashcash) 的 [工作量证明机制](https://anubis.techaro.lol/docs/design/why-proof-of-work)(一种用于减少电子邮件垃圾的提议方案)。其原理是:对于个体用户而言,额外负载可以忽略不计;但对于大规模爬虫,成本会累积并显著增加其抓取难度。
本质上,这是一种权宜之计,其真正目的是争取时间,以便更好地通过指纹识别和检测无头浏览器(例如利用其字体渲染方式的差异),从而对更可能合法的用户跳过工作量证明挑战页面。
请注意,Anubis 需要使用现代 JavaScript 功能,而 [JShelter](https://jshelter.org/) 等插件会禁用这些功能。请为此域名禁用 JShelter 或其他类似插件。
相似文章
Anubis到底阻止了谁?
本文批评了Anubis——一个旨在阻止AI爬虫的HTTP工作量证明代理——指出它很容易被AI绕过,同时给人类用户带来了倒退性的负担,尤其是那些使用弱设备或非JavaScript浏览器的用户。
AI让大规模网页抓取变得触手可及。这是一个问题吗?
本文探讨了AI编程助手如何使普通大众能够进行大规模网页抓取,由此引发了关于忽略robots.txt和速率限制的道德问题,并对AI提供者的责任提出质疑。
爬虫情况更新
关于AI爬虫机器人日益严重的问题的最新更新,这些机器人导致网站不堪重负,并探讨了住宅代理网络及其对开放网络的影响。
@ridark_eth: https://x.com/ridark_eth/status/2057418685791220031
一个精选的帖子列表,列出了50个GitHub仓库,这些仓库承诺将AI订阅成本降低高达80%,并通过工作申请、视频内容、社交媒体机器人和算法交易产生自动化收入。
AI 在数据收集中如何遵循道德准则?
关于 AI 代理在生成爬虫时忽视 robots.txt 等网站规则的伦理挑战,以及 AI 提供商在不妨碍产品可用性的前提下实施护栏的责任的评论。