AutoResearch 中有多少是研究，又有多少只是搜索？[D]
摘要
一位兼职从事 AutoResearch 的实践者提出疑问：自主研究智能体的评估中，究竟有多少是真正的科学探索，而又有多少只是在人类预定义的问题空间内进行优化搜索？他进一步追问，要展现出超越分数提升的真正研究判断力，智能体还需要证明什么。
我最近在兼职参与一个类似 AutoResearch 的项目。大致的流程是：人类从顶会 ML/AI 论文中挑选近期工作，将其中一部分转化为一个有明确评测器的任务，然后让智能体迭代地修改解决方案并搜索更高的分数。做这件事让我开始反思：我们究竟在评估什么？既然问题已经由人类选定、目标已经定义好、评测器已经设计好、初始研究方向也已经给出，那么智能体大部分时间只是在一个已经被人类高度塑造过的空间内进行搜索。这种搜索仍然可能有价值——智能体或许能探索远超人工尝试范围的大量变体。但我越来越怀疑，单凭分数提升是否就能捕捉我们通常所说的研究素养。研究者还会追问：某个结果是否揭示了某种普遍规律？它能否迁移？问题本身的表述是否应该改变？有没有一个完全不同的方向更值得关注？而迭代优化循环可能会变得非常擅长在现有解的邻域中探索，却依然被困在局部最优之中。所以我很想了解大家如何理解这一区分：在人类定义的研究空间内进行自主搜索，究竟能产生多少科学价值？除了更强的优化能力之外，智能体还需要具备什么，才能证明自己拥有了某种更接近真实研究判断力的东西？
相似文章
我们距离真正的自动研究还有多远？
本文介绍了ResearchArena，一个用于评估自动研究智能体的框架，并发现虽然智能体生成的论文在仅稿件评审下看似具有竞争力，但结合工件的评审揭示了实验严谨性方面的严重缺陷，没有一篇论文达到顶级会议的接收标准。
AutoResearch AI：迈向人工智能驱动的研究自动化以实现科学发现
本综述审视了人工智能驱动的研究自动化（AutoResearch）这一新兴领域，分析了AI系统如何从孤立的任务辅助转向完整的工作流级别的科学发现。它定义了从人类引导的‘Vibe Research’到AI主导系统的光谱，并提出了五个评估科学可信度的维度。
智能体在AutoResearch上的失败分析：基于100个真实前沿研究任务的端到端诊断评估
本文介绍了AutoResearchEval，一个用于自动化科学研究中AI智能体的评估框架，揭示了元认知能力的关键缺失作为跨模型的反复失败模式。
AutoResearch AI：迈向AI驱动的科学发现研究自动化
一篇综述论文，探讨了AI从特定任务助手到工作流级研究自动化工具的转变，将AutoResearch定义为AI驱动的科学工作流自动化的光谱，并分析了自主性、可重复性和问责制方面的挑战。
@sunweiwei12: 自动研究智能体与顶尖人类研究员究竟有何不同？尽管人们对自动研究智能体和递归自我改进（RSI）抱有巨大热情，我们仍缺乏清晰的认识……
TraceML 是一个用于对机器学习研究智能体进行轨迹级分析的工具，它将 Codex 智能体的运行过程与 Kaggle Grandmaster 的 notebook 进行对比，发现人类专家会探索更广泛的策略空间，而智能体则容易陷入狭窄的循环。将人类研究技能提炼成约 1,000 token 的规划提示后，Codex 在七项竞赛中有五项的成绩得到提升；该成果将在 NeurIPS 2026 上展示。