我基准测试了AI代理读取原始HTML有多糟糕。差距比我预想的要大。

如今大多数代理访问网页时，接收到的300KB标记是为人眼设计的——导航、页脚、跟踪脚本、样式噪音——然后它们必须猜测实际需要的三个事实：价格、可用性、某个操作是否收费。它们消耗代币解析展示信息，但仍然出错。我想知道实际情况有多糟糕，于是通过测量而不是猜测来验证。测试：针对一个产品页面提出20个事实提取问题，通过真实的LLM调用。同一页面，两种格式。\- 原始HTML：91%准确率，684个代币\- 结构化的代理可读格式：100%准确率，约一半的代币。准确性差距并没有让我太惊讶，但代币成本出乎意料。代理为读取页面的较差版本支付双倍代价。这让我深入研究了为其构建契约层的方法——一种让网站在其普通HTML之外暴露类型化、机器原生视图的方式：页面上的实体，加上类型化操作契约（此操作是否收费、是否可逆、副作用是什么、是否需要确认）。HTML保持不变供浏览器渲染；代理获得一个干净的端点。我很好奇其他人在这里是如何处理的。你们是在模型接收之前预处理HTML，使用可读性提取器，还是其他方法？生产中什么方法对你们有效？