标签
ChipMEM 引入一个面向EDA代理的验证基础内存层,通过从经过验证的工具交互中提炼可重用技能,并使用贝叶斯统计指导将技能转移到未见过的任务中,从而提升RTL设计性能。
TwinCheck 是一种推理时验证策略,通过使用基于证据的负孪生比较来增强有状态工具智能体,显著提升了如BFCL V4等基准测试中的任务成功率。
本文讨论了应使用什么标准来验证AI智能体对基础设施问题的修复,以Skyportal的智能体为例,展示了验收条件和检查方法。
RecreationWorld是一个可扩展的框架,用于训练混合AI代理,这些代理结合了GUI交互、编码和视觉验证来重建应用程序,并配备了一个名为RecreationBench的基准测试套件。
Eyeball 是一个开源的 Copilot CLI 插件,它通过从源材料生成带有内嵌截图的 Word 文档来验证 AI 生成的声明,以便于事实核查。
GitHub的高级企业法律顾问Dan使用GitHub Copilot CLI构建了Eyeball,这是一个通过内嵌截图验证AI分析的自定义工具,提升了法律团队的工作效率。
本文介绍了幕僚长模式,这是一种通过将协调与执行分离来编排 AI 编程代理的组织方法,旨在提高长期任务中的可靠性和状态管理。
文章认为,由于固有的信任和检查问题,AI模型的训练端去污无法验证,并提出了一个评估端规则,通过控制评估过程来确保可复现性。
一名独立运营者讲述了使用名为Vesper的AI代理来管理付费工作平台DeedSpring的经历,在该平台上,人类因完成经过验证的真实世界事迹而获得报酬。同时,他分享了关于系统架构以及代理一致性和透明度价值的见解。
本文基于一项消融研究,指出AI代理中成功完成任务并不保证正确性的一种失败模式,并介绍了AdaptOrch作为在代理工作流中实现外部验证和可靠性的工具。
文章讨论了AI代理的验证模式,以确保可靠性,建议的技术包括分离执行者和验证者、强制结构化输出,以及使用证据上限来防止幻觉和不当行为。
本文介绍了LLM-as-an-Improver,这是一种利用验证反馈为LLM生成改进候选解决方案的方法,从而提升性能超越初始候选池。
RecreationWorld引入了一个用于混合计算机使用代理的可扩展且可验证的框架,提供了跨越五个平台的环境和一个用于评估的基准测试。
Yoetz 是一个本地优先的开源工作账本,专为AI编程代理设计,用于验证操作并提供已验证工作的凭证,支持Codex、Claude和Cursor。
本文介绍了μSkia,一种用于Skia 2D图形库的形式语义,并开发了一个优化器,在来自顶级网站的真实Skia程序中实现了18.7%的加速,使用Lean进行了验证。
一位研究人员复现了AI基准测试,但发现由于指标聚合和模型集成问题,验证业务声明具有挑战性,强调了对AI性能声明进行仔细审查的必要性。
本文介绍了一种用于非线性神经反馈系统可扩展验证的分支定界框架,通过结合组合求解器和传播求解器(如 rail 和 clipper 工具)来改进现有最优方法。
本文介绍了一个确定性的电商模拟环境,用于评估开放权重AI代理,通过验证其行动与隐藏目标购物车的匹配度,并使用环境基础指标来区分诸如行动不足和搜索不佳等失败情况。
作者讨论了测试一个用于转售中产品识别和列表的人工智能系统,探讨如何确定人工智能何时应独立行动或上报给人类,强调了一个调查和验证的过程。