标签
OpenAI 揭示了其约 10,000 个 AI 代理组成的群体如何通过独立的研究团队探索想法、跨团队沟通并整合成功的方法来解决 Navier-Stokes 方程
本文提出了一种使用语义量化和跨模态指标评估多模态合成数据的统一框架,强调了进行显式评估时需要排列基线和覆盖报告。
本文批判了LLM进化搜索的单点评估,表明最优性能取决于种子和迭代次数的变化,并提出了一种预算网格评估协议。
本文介绍了元认知引导,一种在推理时动态调整语言模型推理以用于科学发现的控制器,利用过程级数据,并展示了其在Columbus-1自主研究系统中的应用。
CMU博士生Emmy Liu回顾了ML/NLP研究的演变,从手动工作到AI辅助再到Agent时代,探讨了研究者在新时代中的价值。
本文探讨了利用人类-LLM不一致来增强系统综述中基于清单的质量评估,表明分析不一致可以识别模糊项目并改进清单设计,以提高一致性和保持研究排名。
本文分析了AQuA关于AI代理递归自我提升的预印本,阐明代理LM保持固定而研究状态更新,并倡导进行详细的消融研究和工件共享,以实现可信的本地模型移植。
这篇文章批判了AI研究中的常见做法,通过利用基准测试缺陷和实现细节,使稀疏注意力和KV缓存压缩技术看起来比实际更有效。
一条推文,宣传 Maxwell、Delaney 和 Kelley 合著的统计学教材《Designing Experiments and Analyzing Data: A Model Comparison Perspective》第三版,重点介绍了该书的教学特色和作者的学术资历。
AI指南合作更新至v7,更诚实地反思未解决的矛盾和方法论,包括重新评估一个关键术语的情感色彩和一个隐喻的有效性,外加一次外部评审,澄清了模型情感与训练数据偏差之间的区别。
本文介绍了一种人工智能代理,能够在不同数据集中重现人类分析的差异,并发现不同角色会导致截然不同的结论。它提出了m-value和Agentic Bootstrap来评估所报告分析的可信度。
一份关于设计有效机器学习实验的详细指南,强调从明确的研究问题开始,培养研究品味,并扩展结果。基于作者在Poolside每周运行约100次实验的经验。
提出一种协议,通过预注册实验并在预注册后第一个符合条件的模型上运行实验,来减轻基于LLM的研究中的p值操纵,并在多个模型上展示了显著的减轻效果。
本文分享了一篇由Anthropic研究员Vivek Nair撰写的关于如何做好研究的文章,强调选择问题比解决问题更重要、培养研究品味、升级信息源以及将写作作为思考工具,这些见解不仅适用于学术研究,也对职业发展和投资判断有启发。
本研究探讨了当仅提供研究问题时,LLM如何推荐研究方法(数据集、模型、指标),发现LLM表现出强烈的提供者偏差,且相比实际论文所提出的方法范围要窄得多,这可能会缩小研究者的方法论搜索空间。
这篇博客文章主张在计算机体系结构中回归严谨的全系统时序仿真,以克服“时序仿真墙”并准确捕捉现代系统行为,提倡使用统计上可靠的方法测量正确的执行区间,而不是详细仿真一切。
分享了一篇关于如何做好AI研究的方法论文章,强调选择问题、阅读文献、写作记录等技巧,适用于科研人员。
本文介绍了 PEEL(AI 认识参与素养协议)框架,该框架将 Voyant Tools 的确定性文本分析与 Claude 的大语言模型解释相结合,以皮尔斯符号学为理论基础,旨在揭示 AI 生成的研究摘要中的系统性失真,并促进认识论层面的问责。
yibie 分享了 awesome-autoresearch 列表的三条新条目,涵盖自动量化交易、通用技能优化和 Claude Code 插件。