testbed

本文介绍了TranSGrid，一个集成演绎、归纳和溯因推理来评估AI中系统泛化的测试平台。使用Transformer的实验表明，当前的任务忽略了基本的推理方面，导致在所提出的测试平台上出现性能差距。

本文介绍了一个确定性测试平台，用于评估LLM评判器在智能体轨迹上的表现，表明仅基于结果的评判器会遗漏静默故障，而基于步骤的评判器能达到更高的召回率并具有更好的校准。

VBVR-Pro 引入了一个闭环测试平台，用于通过生成实现可扩展且可验证的原生视觉推理，其特点包括任务扩展、可验证奖励以及跨多样视觉基底的机制研究。

介绍了一个开源测试平台，用于比较MCP服务器、代理技能和基线运行，从而能够对这些组件进行标准化评估。

AgenticSTS引入了一个使用类型化检索的、用于长期LLM代理的有界内存测试平台，在《Slay the Spire 2》上的结果显示性能提升。