过时的HTML和无头浏览器总让我被屏蔽，于是我转而重放实际请求

花了几个月时间试图为一个需要实时定价和文档的代理抓取网站，而无头浏览器的方案简直让我痛不欲生。尝试了在住宅代理上运行Playwright集群，各种配置齐全。开发环境下运行良好，但一旦上线，我遭遇了IP疯狂被封的情况——大约400个页面，而且其中有个目标网站推送了重新设计，导致我一半的选择器一夜之间失效。感觉就像在照顾一堆随时会同时崩溃的Chrome实例。最终解决问题的方法很简单：打开开发者工具，查看网络标签，发现我关注80%的页面其实都是通过JSON端点进行数据填充的。于是，我不再渲染页面，而是直接重放底层的请求。设置好正确的请求头、Cookie、Accept-Language，然后就能收到干净的JSON响应。没有DOM，没有会失效的选择器，也没有Chrome。其中一个我抓取的网站，原来每个页面在浏览器中需要约6秒，而现在作为一个普通请求只需要约180毫秒，而且被封率几乎降为零，因为我的请求看起来就像是网站自己的前端在调用自己的API。但要注意，这并非万能。我遇到的一些情况包括：- 带有签名请求参数或短期令牌的网站，需要先通过一个轻量级的预热请求获取令牌，然后再重放；- 某些端点会检查Referer和Origin头，浏览器会静默设置这些，所以必须精确模拟；- 像Akamai/Cloudflare这类更强大的反爬系统，不仅检查请求头，还会通过TLS指纹识别，因此需要使用一个不会在握手时暴露“Python requests”特征的客户端；- 当网站确实是无后端API的客户端渲染（虽然少见，但确实存在），那么无论你愿不愿意，都只能回到浏览器方案。对我帮助最大的思维转变是，不再把网站视为“需要渲染的页面”，而是将其看作“一个背后附着网站界面的API”。一旦看清了实际请求，爬虫就不再是军备竞赛，而变成了一件枯燥的事情——而这正是我们想要的。有人已经为自己的代理数据层完全采用请求重放了吗？我很想知道大家在大规模处理令牌刷新和TLS指纹方面是如何做的，因为这仍然是我感到在拼拼凑凑的地方。