标签
SciGame 是一个受控基准,将科学文献转化为包含原始环境和反事实环境的结构化卡片,用于评估大语言模型智能体发现科学定律的能力。对五个前沿模型的实验表明,先验知识可能损害表现,自适应实验仅对能力较强的模型有帮助,而良好的解释可能掩盖定量分析上的失败。
SciGame 是一个将科研文献转化为结构化「科学卡片」的受控基准,通过原始与反事实环境配对来分离先验知识与实证证据,评估大模型智能体的科学发现能力,发现精确符号定律恢复仍是主要瓶颈。
ACV-Gate是一个自适应候选评估框架,通过选择性地对信息丰富的视觉Token应用反事实推理,在生成式图像通信中提高重建质量,从而降低计算成本。
本文介绍了一种分叉账本协议,用于衡量持续适应中世界模型更新的反事实效用,表明总是应用更新会降低CartPole和Walker等控制任务的性能。
本文证明,对于多步骤临床LLM代理的反事实公平性审计,需要测量每动作不稳定性下限以准确解释翻转率,因为固有的异质性可能掩盖人口统计学差异。
MARGINAL 是一个面向编程代理的开源治理层,通过监控代理轨迹来预防低效操作,并配备影子模式与赢得执行功能以增强可靠性。