AI 现在正被评估其是否能真正进行实验室科学，而不仅仅是回答问题：包括运行实验、操作设备、读取仪器以及从失败中恢复。
摘要
AI 系统现正接受评估，以检验其在实际实验室任务中的表现，如运行实验、操作设备、读取仪器和从失败中恢复，这标志着从理论科学到应用科学的转变。
暂无内容
相似文章
AI基准测试不如模型能否处理乏味的现实责任重要
文章认为，AI基准测试和华丽的演示被过度强调了；真正考验AI可信度的是模型如何处理乏味的现实责任，如遵循指令、承认不确定性、处理边缘情况以及可审计性。
还有人觉得AI基准测试在预测实际性能方面越来越没用了吗？
本文讨论了AI基准测试高分与实际真实表现之间日益扩大的差距，重点强调了诸如一致性、延迟和上下文处理等问题。
ASI-Bench：在人工超级智能的黎明
ASI-Bench 是一个新的基准测试，旨在评估 AI 系统在 11 个科学领域中创新探索和自主科学执行的能力，揭示了当前 AI 对人类指导的严重依赖。
感觉AI正在进入其“基础设施问题”阶段
文章强调了AI行业的一个转变，焦点正从单纯的模型基准性能转向延迟、编排和成本效率等基础设施挑战。这表明AI正成熟为一个系统问题，实际体验变得比原始模型能力更重要。
@ApexAIHighlight：大多数AI基准测试模型是否能给出正确答案。@Accio_official 正在测试更难的事情：能否……
CommerceAgentBench是一个新的基准测试，包含107个真实电子商务任务，旨在检验AI代理能否实际完成工作，超越传统的基于答案的AI基准测试。