我的浏览器代理会话中有40%悄然失败，问题不在LLM

Reddit r/AI_Agents 工具
browser-agent puppeteer automation-detection fingerprinting llm production-debugging open-source

摘要

一位开发者发现，40%的浏览器代理会话因浏览器指纹识别和自动化检测而悄然失败，而非LLM推理问题。一个名为Leakish的开源工具发现了这些问题。

我构建了一个Puppeteer代理，它通过了所有的推理评估。在生产环境中，40%的会话返回了降级的结果，且没有报错。LLM对受污染输入的推理是正确的。浏览器成为了盲区。我用一个开源扫描器验证了这一点，它的完整代码库在GitHub上，指纹检查在本地执行，所以在将其指向我的代理会话之前，我信任它的输出。这个工具叫做Leakish。我的会话在Canvas渲染、WebRTC以及我从未想过要监控的自动化检测方面被标记了。我仍然没有一个干净的解决方案来使浏览器层对这些检测系统不可见。
查看原文

相似文章

Agent Execution Tax：浏览器代理基准测试的新衡量指标

Reddit r/LocalLLaMA

Fireworks AI 和 Notte 在运行了四个 LLM 的 720 个浏览器代理任务后，引入了 'Agent Execution Tax' 指标，发现执行可靠性——而非智能——是智能体 AI 的主要瓶颈，其中一个模型在格式错误的 JSON 上浪费了 22.9% 的推理调用。

领域伪装注入攻击规避多智能体LLM系统检测

Hacker News Top

本文识别出一类新的注入攻击，其载荷模仿领域语言以规避LLM注入检测器，实验显示检测率急剧下降（例如，在Llama 3.1 8B上从93.8%降至9.7%）。该漏洞具有系统性，且延伸至诸如Llama Guard 3等专用安全分类器，后者对伪装载荷的检测率为零。