web-crawl

Signals Corps 分析了 Common Crawl 中 2.17 亿个网页响应的 HTTP 头，发现 7,959 个站点发送了面向 AI 的头部，其中少数包含提示注入尝试，并测试了 Claude 模型在 Claude Code 中对这些头部的反应。研究指出，头部注入是一条被现有研究忽略的攻击路径，防御的关键在于 fetch 工具传递给模型的内容范围。

一个Hugging Face Space允许您对Common Crawl的21.9亿个网页运行SQL查询而无需下载，它使用DuckDB直接从Hugging Face存储桶读取数据。