研究如何构建LLM智能体框架

Reddit r/AI_Agents 论文
llm-agents research safety harnesses trust-calibration multi-agent evaluation

摘要

这篇研究文章回顾了关于构建LLM智能体框架的研究成果，强调确定性护栏、有效的多智能体层次结构和适当的记忆架构对性能和安全至关重要，同时指出了当前评估和认证中的空白。

确定性护栏胜过更聪明的模型；多数投票胜过辩论；层次结构在大规模下有效，而多智能体组织以人类方式失败；记忆需要架构，而不是更大的上下文窗口；沙盒执行和验证结果；框架终于可测量——且比模型更重要；成本路由；自主权是挣得的：信任校准和监督实践。开放问题：目前尚无标准化、可重复的完整框架架构A/B比较——Harness-Bench（§6）是第一步，但属于诊断性而非排行榜级别。注入防御在当前公开基准（防火墙论文，§1）中饱和，但在动态基准（AgentDyn）上失败——评估滞后于部署。单智能体安全认证不适用于多智能体部署（Anthropic，§3）。信任校准研究（§8）研究人类对智能体的感知；系统端挣得自主权策略（如统计调整的提升门控）的等效测量结果仍在涌现。
查看原文

相似文章

研究表明如何构建LLM智能体框架

Reddit r/artificial

ATOM是一个开源、自托管的AI智能体平台，旨在通过可控自主和验证结果，帮助AI智能体成功从试点阶段过渡到生产环境。

最好的智能代理工具会这样做……

Reddit r/AI_Agents

作者分享了构建高效智能代理工具的见解：最好的工具最大限度地减少对大语言模型（LLM）在琐碎任务上的依赖，将其保留用于复杂推理，从而将真正的代理工具与简单的包装器区分开来。

停止在不公开执行框架的情况下比较LLM智能体

arXiv cs.AI

这篇立场论文认为，在长期跨度的LLM智能体任务中，执行框架（即围绕语言模型的上下文构建、工具交互、编排和验证的基础设施层）往往比模型本身更能决定性能，而当前的基准测试错误地将框架层面的提升归因于模型改进。它提出了一种框架感知的评估框架，包含披露标准和方差分解协议。

面向执行轨迹的推理时对齐框架

arXiv cs.LG

本文研究LLM智能体的框架设计，将其分解为任务拆解和引导执行，并展示了更精细的框架并非一致更好；它揭示了失败模式，并提出了部分框架的有效性。