标签
SciΠPivot 推出了一项包含 248 个案例的基准，用于评估自主研究智能体的科学判断力，该基准基于六个月内对 26 个项目所做的人工修正构建而成。结果表明，前沿大语言模型往往无法识别经人工修正的计划，多数模型的表现低于随机猜测水平，最高准确率为 63.5%，而新接触这些项目的人类研究人员的准确率为 73.4%。
SciΠvot 是一个基于 248 个人工纠正案例的基准，用于评估 LLM 智能体在科研自主研究关键时刻的科学判断力；结果显示前沿模型常偏好有缺陷的原始计划而非专家修正方案，整体表现低于人类研究者。