这里90%的‘看我的代理能浏览网页’帖子在第五个URL时就会崩溃

我知道这听起来可能有点刺耳，但这里发布的几乎每个自主网页代理演示都是在作者已知会成功的URL上测试的。模式如下：一个演示访问两三个干净的URL，获得良好的文本返回，进行推理，然后发布截图。这工作得很好。现在让同一个代理面对一个它没有选择的20个URL列表。到第五个URL，你会遇到一个React页面返回空壳。到第八个URL，一个Cloudflare墙会返回一个验证码页面，看起来像200 OK成功。到第十二个URL，你在阅读一千个token的cookie横幅和导航垃圾，实际答案埋在其中某处。代理不知道这些事情发生了。它只是默默地对垃圾数据进行推理，然后给你一个自信的错误答案。在Contextdev每天处理获取层的事情，让我清楚了一件事：大家痴迷的代理推理是更容易的10%。困难的90%是获取层。干净的提取、清除结构噪音，以及捕获那些在纸面上成功但实际返回垃圾数据的抓取。这是一个数据工程问题，通常是代理在受控演示中工作但在生产中崩溃的原因。没有人真正发布关于它的内容，因为花三周时间处理解析器边缘情况和静默故障检测不会成为一个好帖子或话题，也不会为他们带来点赞或曝光。对于那些让代理访问非自己选择URL的人，你们如何捕获那些返回200 OK但实际为空的抓取？这是悄悄毁掉我们一切的主要问题。