counterfactual-evaluation

标签

Cards List
#counterfactual-evaluation

SciGame:让智能体在现实与反事实世界中玩科学发现游戏

arXiv cs.AI ↗ · 2026-10-31 缓存

SciGame 是一个受控基准,将科学文献转化为包含原始环境和反事实环境的结构化卡片,用于评估大语言模型智能体发现科学定律的能力。对五个前沿模型的实验表明,先验知识可能损害表现,自适应实验仅对能力较强的模型有帮助,而良好的解释可能掩盖定量分析上的失败。

0 人收藏 0 人点赞
#counterfactual-evaluation

SciGame:让智能体在真实与反事实世界中玩科学发现游戏

Hugging Face Daily Papers ↗ · 2026-10-27 缓存

SciGame 是一个将科研文献转化为结构化「科学卡片」的受控基准,通过原始与反事实环境配对来分离先验知识与实证证据,评估大模型智能体的科学发现能力,发现精确符号定律恢复仍是主要瓶颈。

0 人收藏 0 人点赞
#counterfactual-evaluation

用于视觉Token通信的全预算反事实推理选择性摊销

arXiv cs.AI ↗ · 2026-09-28 缓存

ACV-Gate是一个自适应候选评估框架,通过选择性地对信息丰富的视觉Token应用反事实推理,在生成式图像通信中提高重建质量,从而降低计算成本。

0 人收藏 0 人点赞
#counterfactual-evaluation

衡量世界模型更新的价值:一种用于持续适应的反事实效用协议

arXiv cs.LG ↗ · 2026-09-11 缓存

本文介绍了一种分叉账本协议,用于衡量持续适应中世界模型更新的反事实效用,表明总是应用更新会降低CartPole和Walker等控制任务的性能。

0 人收藏 0 人点赞
#counterfactual-evaluation

多步骤临床LLM代理的反事实公平性审计需要测量每动作不稳定性的下限

arXiv cs.CL ↗ · 2026-09-04 缓存

本文证明,对于多步骤临床LLM代理的反事实公平性审计,需要测量每动作不稳定性下限以准确解释翻转率,因为固有的异质性可能掩盖人口统计学差异。

0 人收藏 0 人点赞
#counterfactual-evaluation

用于编程代理的基于证据的治理工具——期待试用与建设性反馈

Reddit r/AI_Agents ↗ · 2026-08-17

MARGINAL 是一个面向编程代理的开源治理层,通过监控代理轨迹来预防低效操作,并配备影子模式与赢得执行功能以增强可靠性。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈