住宅代理的威胁

Lobsters Hottest 新闻

摘要

住宅代理用于爬取和隐藏恶意活动,随着机器人现在生成比人类更多的互联网流量,住宅代理的使用正在上升。本文探讨了技术和伦理挑战,包括Cloudflare和Coinbase的x402标准等支付协议。

<p><a href="https://lobste.rs/s/x8qug8/threat_residential_proxies">评论</a></p>
查看原文
查看缓存全文

缓存时间: 2026/06/30 21:41

# 住宅代理的威胁 来源:https://www.feistyduck.com/newsletter/issue_138_the_threat_of_residential_proxies ### 密码学与安全通讯 (https://www.feistyduck.com/bulletproof-tls-newsletter/) > **Feisty Duck 的密码学与安全通讯**是一份定期发布的简报,为您带来有关密码学、安全、隐私、SSL/TLS 和 PKI 的评论和新闻。旨在让您了解该领域的最新发展。每月有超过 50,000 名订阅者阅读。**由 Ivan Ristić (https://blog.ivanristic.com/) 撰写。** 过去几年,所谓的*住宅代理*持续兴起。如果您不熟悉这个术语,它通常指安装在住宅地址(但正如我们稍后将看到的,并不总是如此)的代理,用于网站抓取和类似活动。这是一个相当小众的话题,您很可能从未听说过。然而,这是一个需要您关注的现象。 ### 什么是住宅代理? 互联网上的大量服务都在努力寻找一种平衡:既向公众提供其产品,又能检测并消除不受欢迎的流量。以抓取为例。抓取一直很流行,但做起来越来越难。如果您试图从单个 IP 地址监控一些顶级网站,通常会很快被屏蔽。如果您随后尝试使用来自不同云提供商服务器的多个 IP 地址来扩展扫描,您会发现数据中心流量往往会被整体屏蔽。在寻找解决方案时,您通常会在此时了解到住宅代理的存在。 抓取往往不受欢迎,但并不一定违法。然而,高强度抓取绝对是网站需要处理的问题。使用住宅代理的用户范围很广,从完全合法(任何想要进行某种付费网络监控的人都可以证明)到恶意行为者。例如,试图利用网站漏洞的犯罪分子经常使用住宅代理来隐藏踪迹。 最近,人工智能和 AI 代理的兴起进一步增加了需求。例如,AI 供应商希望利用互联网上的内容进行训练。此外,使用 AI 的个人希望赋予他们的工具同样不受限制的访问权限,就像他们自己享受的那样。现在普遍认为,机器人产生的互联网流量超过了人类。 也许我们可以通过平衡抓取的经济性来解决这个问题,即找到一种让机器人为其访问付费的方式。(Cloudflare 在 2025 年提出了这个想法 (https://blog.cloudflare.com/introducing-pay-per-crawl/),随后与 Coinbase 共同创建了 x402 标准 (https://www.x402.org/)。AWS 最近在其 WAF 产品中添加了对该支付协议的支持 (https://aws.amazon.com/about-aws/whats-new/2026/06/aws-waf-ai-traffic-monetization/)。) ### 情况比您想象的更糟 要启动住宅代理业务,您需要在世界各地拥有大量网络端点。但如何构建这样的网络呢?事实证明,有两种方法。一种是假装合法地进行操作。您为大量存在的流行设备(例如手机和电视)创建软件开发工具包,然后(当然是用钱)诱使软件开发人员将您的代理软件嵌入到他们的应用程序中。在最坏的情况下,代理代码会与应用程序一起静默部署,而这些应用程序通常是免费提供的。在最好的情况下,会向最终用户展示一个同意屏幕,让他们选择操作代理出口节点,但真的有人相信这种同意是知情同意吗?如果您想了解更多,请阅读 Include Security 最近的报告 (https://blog.includesecurity.com/2026/06/the-smart-tv-in-your-livingroom-is-a-node-in-the-aiscraping-economy/)。根据 Synthient 的说法,大多数受害者实际上是居民 (https://synthient.com/blog/who-are-the-victims-of-residential-proxies)。 另一种方法是以任何可能的方式、使用任何手段(包括非常非法的手段)来构建您的网络。入侵路由器总是有效的,但富有进取心的犯罪分子比这更有创意:据记载,许多可以买到的廉价设备都预装了住宅代理恶意软件。想象一下:您买了一个漂亮的数码相框来展示家庭照片。您不知道的是,这个相框是一个特洛伊木马,您现在成为了一个僵尸网络的一部分。KrebsOnSecurity 发布了一份深度报告 (https://krebsonsecurity.com/2026/01/the-kimwolf-botnet-is-stalking-your-local-network/),介绍其中一些网络是如何运作的。 ### 您的本地网络正受到攻击 很容易认为这不是一个大问题,因为——最坏的情况能怎样呢?如果您幸运,一个善意的人会从您的 IP 地址进行抓取,并使用您的一些带宽。如果您的 IP 地址与住宅代理网络关联,您可能会很快发现无法再访问您的网站。如果您非常不幸,您可能会收到 FBI 或当地政府机构的登门拜访,因为有人使用您的 IP 地址作为网络攻击的跳板。 犯罪分子越来越多地使用住宅代理网络来访问您的内部网络。尽管一些提供商声称限制对私有 IP 地址的访问,但他们的代码通常编写得很差。没有人声称这些人了解网络安全。显然,大量基于 Android 的设备在出厂时带有名为 *Android Debug Bridge* 的东西,用于制造商故障排除。在您的网络上,它允许您的设备被快速 root。 越来越多的证据表明,来自企业网络的住宅代理流量正在增加。Infoblox(保护性 DNS 服务提供商)最近的一份报告 (https://www.infoblox.com/blog/threat-intelligence/residential-proxies-in-the-wild/) 声称,多达 65% 的客户有流向住宅代理网络的流量。 很难知道该怎么做。在家里,考虑使用虚拟网络将重要设备与其他设备隔离开来。监控流量也是一个好主意。除此之外,没有确定的方法,如果有人可以随时在您的电视上安装新的应用程序。 在企业环境中,理想情况下您不允许未知设备接入网络,但这说起来容易做起来难。了解常见住宅代理网络的保护性 DNS 服务可以帮助遏制此类流量,并指出有问题的设备。有些设备可能会完全跳过 DNS,通过硬编码的 IP 地址进行连接。在这种情况下,就需要具备良好的威胁情报和/或企业流量检查与监控能力。 #### 订阅密码学与安全通讯 此订阅仅针对通讯;我们不会向您发送其他任何内容。 --- ## 短讯 ### 人工智能 - Samuel Judson(Trail of Bits)测试了来自 ClawHub、Cisco 和 skills.sh 的技能扫描器,并在不到一小时内绕过了所有扫描器 (https://blog.trailofbits.com/2026/06/03/the-sorry-state-of-skill-distribution/),证明了静态技能安全工具在公共市场上几乎无法提供针对恶意 AI 代理技能的实际保护。 - Cloudflare 详细介绍了其模型无关的漏洞发现框架,该框架使用并行的狩猎/验证代理扫描 128+ 个仓库,进行跨仓库依赖追踪,并使用第二个模型进行独立分类,将 20,799 个原始候选结果压缩为 7,245 个可操作发现。初始审计技能已在 GitHub 上发布 (https://blog.cloudflare.com/build-your-own-vulnerability-harness/),并承诺将整个项目开源。 - Matthew Green 对通过 OpenAI 和 Anthropic API 发送的加密“推理”数据块进行了逆向工程,发现它们是返回给客户端用于多轮对话连续性的经过认证的密文,并探讨了篡改这些数据块揭示了前沿 LLM 提供商如何保护思维链数据 (https://blog.cryptographyengineering.com/2026/05/29/fooling-around-with-encrypted-reasoning-blobs/)。 - Nahum Korda 和 Gadi Evron 提出了 OpenAnt,这是一个开源的 LLM 漏洞发现流水线,它通过可达性分解代码库(将分析面减少高达 97%),使用对抗性攻击者模拟进行验证,并自动生成沙盒化利用环境,在 OpenSSL、WordPress 和 Flowise 中发现了以前未知的漏洞。arXiv 论文 (https://arxiv.org/abs/2606.19149)。 - Lenny Zeltser 和 Sounil Yu 的 AI 防御矩阵 (https://aidefensematrix.com/) 是一个结构化框架,用于识别差距并选择防御 AI 系统的控制措施,与 NIST CSF 2.0 保持一致,并扩展了 Cyber Defense Matrix。 ### 密码学 - 2027 年现实世界密码学会议(西雅图,4 月 5-7 日)征集现实世界密码学主题的演讲提案 (https://rwc.iacr.org/2027/contributed.php),提交截止日期为 2026 年 10 月 15 日。 - Guy Lewin 宣布,Meta 的 Messenger 现在通过 Cloudflare Key Transparency 分发 HSM 公钥,以加强端到端加密备份 (https://www.linkedin.com/posts/guy-lewin-48b00712_excited-to-share-something-ive-been-working-share-7458138779342614528-DD_o/)。 - Michele Orru、Trevor Perrin、Nora Trapp 和 Greg Zaverucha 提出了加密协作空间 (https://encryptedspaces.org/),这是一种架构,将群组密钥管理、棘轮机制、保留树和零知识快速转发证明层叠在不可信服务器之上,为协作应用程序提供可验证的机密性和完整性。 - Aaron Cope(SFO 博物馆)描述了使用 X.509 和 OpenPGP 对向量嵌入进行加密签名的经验,以及他们在 C2PA 的证书要求和成本障碍方面的挣扎,并解释了为什么需要“Let's Encrypt 时刻” (https://millsfield.sfomuseum.org/blog/2026/06/15/assertions/),然后 C2PA 才能实现大规模采用。 - Andy Tockman 对 C# 的 System.Random 线性种子初始化如何创建《杀戮尖塔 2》RNG 流之间可被利用的相关性进行了逆向工程,允许玩家从可见的游戏状态预测诅咒、药水掉落和事件结果 (https://tck.mn/blog/correlated-randomness-sts2/)。 - Keegan Ryan(Trail of Bits)和 Hanno Böck 在野外发现了数百个具有结构化零位模式的“短袖”RSA 密钥,这是由 CompleteFTP 中的类型不匹配错误引起的,并开发了一种基于多项式的分解技术,恢复了 603 个 RSA 和 74 个 DSA 私钥 (https://blog.trailofbits.com/2026/06/12/factoring-short-sleeve-rsa-keys-with-polynomials/)。 - Thai Duong 利用影响 OpenSSL、wolfSSL、Bouncy Castle 和 GnuPG 的 gpgsm 的单字节 AEAD 标签错误(CVE-2026-34182)来解释为什么密文格式是攻击面,并主张密文除了本地密钥 ID 加上不透明 blob 外不应携带任何内容,所有参数应绑定到密钥记录。如何格式化密文 (https://blog.calif.io/p/how-to-format-a-ciphertext)。 - Nadim Kobeissi 宣布,他最初为黎巴嫩和黎凡特地区创建的免费应用密码学课程现已为四所欧洲大学采用 (https://www.linkedin.com/posts/nadimkobeissi_when-i-started-building-my-applied-cryptography-share-7474784819298643968-bbYS/),包括波鸿鲁尔大学和爱丁堡大学。 ### 公钥基础设施 - Rob Stradling (Sectigo) 发布了 ctsubmit (https://github.com/crtsh/ctsubmit),这是一个开源的 CT 提交代理,处理符合策略的 SCT 收集、智能日志选择、并行提交和监控。 - Stephen Davidson 指出,微软受信任根程序已启动 PQC TLS 试点项目,允许 CA 在封闭、非公共环境中测试启用 ML-DSA 的证书层次结构,要求根证书使用 ML-DSA-87,并将叶子证书的有效期限制为 90 天 (https://www.linkedin.com/posts/srdavidson_tls-pqc-activity-7469845167051526144-qtyd)。 - Lenny Zeltser 追溯了可观测性、短期凭证和主动执行如何通过十年的 CA 失败事件将 Web 的证书信任模型维系在一起,并探讨了后量子密码学和默克尔树证书的未来。Web 信任的过去、现在和未来 (https://zeltser.com/past-present-future-web-trust-model)。 - Shodan 提供了一个免费的 API 端点 (https://www.linkedin.com/feed/update/urn:li:activity:7470161869677371392/),可根据证书透明度日志返回某个域名的所有主机名,Shodan 书中提供了示例 Python 代码。 - Adriano Santoni 报告称,Firefox 152 现在显示一个带有欧盟信任标记的突出 QWAC UI,取代了版本 150 中的最小指示符,尽管它仍然需要点击几下才能显示,而不是自动出现 (https://www.linkedin.com/pulse/were-joking-heres-real-firefox-qwac-ui-adriano-santoni-djzif/)。 - Jake Edge (LWN) 解释了微软 2011 年用于 Linux shim 的安全启动签名密钥将于 9 月到期,为什么许多系统缺少 2023 年的替换密钥,以及 LVFS 和 fwupd 是在 Linux 安装介质停止在 Secure Boot 系统上启动之前获取固件更新的主要途径 (https://lwn.net/Articles/1029767/)。 - Alex Polyakov (Adversa AI) 发布了 AIRQ,这是一个开源框架,对 100 多个 AI 代理进行安全评级,发现只有 11% 既有能力又有良好的防御,98% 结合了私有数据访问、不受信任的内容和出站操作。AIRQ 框架 (https://www.linkedin.com/feed/update/urn:li:activity:7469541064777818112/)。 ### 后量子密码学 - Alfred Menezes 发布了其理解格密码学的综合介绍的第一版 (https://www.linkedin.com/posts/alfredmenezes_ive-completed-version-10-of-my-notes-on-share-7465708539722932224-wS1D/),涵盖 Kyber 和 Dilithium。 - Apple 详细介绍了其使用 Isabelle、SAW 和 Cryptol 的自定义形式验证方法,以证明 corecrypto 中 ML-KEM 和 ML-DSA 实现的正确性,并公开发布了工具和证明 (https://security.apple.com/blog/formal-verification-corecrypto/)。 - Marin Ivezic 的深度系列文章涵盖了如何从商业可用的模块化组件构建量子计算机,包括设施准备、低温系统、控制系统和成本 (https://postquantum.com/how-to-build-quantum-computer/)。 - Google 概述了其对量子安全证书的策略性意见,倾向于使用 ML-DSA、用于 Web PKI 的默克尔树证书以及用于私有 PKI 的双证书链,目标是在 2029 年完成迁移 (https://bughunters.google.com/blog/next-with-quantum-safe-certificates)。 - 欧盟网络安全局 (ENISA) 已将其《商定密码机制 3.0》草案公开征求意见 (https://certification.enisa.europa.eu/publications/eucc-guidelines-cryptography_en)。其中包括 ML-DSA、XMSS、LMS、SLH-DSA、ML-LEM 和 FrodoKEM。建议使用混合方案。 - Bas Westerbaan 指出,研究人员在不到两个月的时间内对 Google 的秘密量子算法进行了逆向工程,该论文和 Craig Gidney 的确认现已公开 (https://www.linkedin.com/posts/baswesterbaan_it-took-less-than-two-months-for-folks-to-share-7467515294316503040-UhEG/)。 - Docusign 详细介绍了其量子安全策略:将 PDF 签名从 RSA 4096 位迁移到 ML-DSA,采用混合密码学方法,并提前规划以应对“现在收集,以后解密”的风险 (https://www.docusign.com/en-gb/blog/post-quantum-cryptography-how-docusign-is-securing-digital-agreements-for)。 - Let's Encrypt 概述了其采用默克尔树证书 (MTC) 用于后量子 Web PKI 身份验证的计划,目标是在 2026 年底前建立暂存环境,并在

相似文章

爬虫情况更新

Hacker News Top

关于AI爬虫机器人日益严重的问题的最新更新,这些机器人导致网站不堪重负,并探讨了住宅代理网络及其对开放网络的影响。

为什么代理对你的AI代理至关重要

Reddit r/AI_Agents

本文解释了为什么代理对于AI代理在大规模数据采集时避免速率限制、CAPTCHA和地理限制至关重要,并涵盖了常见的用例和代理类型。

在机器人时代保持网络的开放与隐私

Lobsters Hottest

Mozilla和Cloudflare正与其他浏览器合作,推出一项新举措,旨在打击机器人滥用行为的同时保护用户隐私。该方案提出采用基于匿名担保的速率限制方法,而非像验证码或Web环境完整性这样侵入性的验证方式。

进攻性互联网姿态

Lobsters Hottest

作者解释了如何通过伪造 WordPress 登录、endlessh tarpit、阻止 AI 爬虫、伪造 phpinfo、无限虚假网站以及提示注入来毒化大语言模型,从而保护他的 VPS 和博客免受机器人和爬虫的侵扰。