标签
一篇论文展示了简单智能体框架（h1）配合高效的 Lean 4 反馈接口，在 PutnamBench、FATE-X 和 FormalConjectures 上达到了最先进的形式定理证明结果，不逊于甚至超越了专门设计的多步工作流，并解决了八个公开问题。作者认为执行接口比复杂的编排更为重要，并警告在未用高效反馈评测前沿模型之前，不要过早规定结构化工作流。
作者回顾其2.5年前关于'苦涩的教训'的演讲，讨论如何在日常工作中实践该理念：先为当下进展添加结构化方法，再在条件变化时及时移除这些结构。
Ethan Mollick 反思 AI 智能体——包括 Meta 的 Muse 和 OpenAI 的 Dots——如何在无需复杂人工管理的情况下组织工作，将 Bitter Lesson 应用于智能体系统和如今能纠正用户自身错误的个人助理。
这条推文认为，埃隆·马斯克少数关键且不可逆转的决定是核心，并将其与应用于自由市场的AI‘苦涩教训’相比较。
推文强调在机器学习中，仔细定义问题比执着于方法更重要，呼应了DSPy的理念，并引用了Sutton的苦涩教训。
这条推文反思了一次关于语言学与自然语言处理、Bitter Lesson以及Transformer架构演变的有收获的对话，并链接到一期关于AI tokenomics的播客节目。
作者认为，虽然工具使用使较小的语言模型能够有效执行任务，但较大的模型在速度、可靠性和内化知识方面仍然至关重要，强调在人工智能领域持续扩展规模的必要性。
文章认为，AI 工具服务于两个不同的目的——提供关于用户想要什么（意图）的上下文和如何实现它的指令（执行）——并且这两者会随着时间推移而价值变化：随着模型改进，执行指令的价值下降，而意图上下文的价值上升。
Max Rumpf 认为，在训练先进AI模型时，人类反馈正变得过时，他引用了国际象棋、数学和搜索等例子。他主张使用自我对弈和合成数据等无需人类的方法，而Will Depue的一条引用推文则呼吁建立与计算规模相平行的大规模数据基础设施。
Anjney Midha警告称，大约18个月内，AI驱动的颠覆将从根本上威胁那些其价值依赖于提供信任的网络安全公司，并引用了苦涩的教训。
Richard Sutton总结其苦涩教训：AI应专注于可扩展的方法如搜索和学习，而非融入人类知识。
介绍了教学RL，一种范式，其中训练特权自我教师以生成正确且易于遵循的轨迹，表明这是一个相对简单的RL问题。
作者认为，虽然“苦涩的教训”和“没有免费午餐”的直觉在孤立状态下具有误导性，但当两者结合时，它们提供了正确的视角。
一条关于在机器学习中培养真正研究技能的有深度的帖子，涵盖了如何独立选题、培养品味、提升信息输入以及通过写作来厘清思路。