LLM的下一个重大‘扩展时代’是什么

Reddit r/singularity 新闻
llm-scaling scaling-laws chain-of-thought agents recursive-self-improvement ai-trends speculation

摘要

作者回顾了过去LLM的扩展时代（模型规模、思维链、智能体），并推测下一个重大扩展维度，提出递归自我改进可能是一个突破。

在我看来，有三个时代：更大的模型、更好的思维链、智能体，在这些之下有许多小的改进（更长的上下文、多模态、MoE、蒸馏、量化等）。思维链和智能体两者都曾暗流涌动了一段时间，直到它们突破。同样，在我看来，这些进步会饱和，长期改进相对于投入的计算量是亚线性的。现在有什么正在“酝酿”并且可以被视为下一个扩展维度或重大变革？ 更新：RSI——在我看来——回答的是“谁”而不是“什么”。当然，这意味着更多的计算资源再次分配给训练。什么突破最可能通过RSI实现？
查看原文

相似文章

LLM智能体系统中技能的规模化定律

arXiv cs.CL

本文识别了LLM智能体系统中技能库的两个耦合规模化定律：路由准确率随库大小呈对数衰减，执行动态表现出救援效应。这些定律在15个模型和超过百万次决策中得到验证，且定律指导的优化显著提升了性能。

用 LLM 优化 LLM：面向测试时扩展的智能体发现方法

Hugging Face Daily Papers

本文提出了 AutoTTS，这是一种环境驱动的框架，通过将测试时扩展（TTS）策略的发现过程形式化为控制器合成，自动发现用于大型语言模型（LLM）的测试时扩展策略。该框架在数学推理基准测试上展示了更优的准确率-成本权衡，且计算开销极小。

仅靠规模扩展无法实现理性人工智能

Reddit r/ArtificialInteligence

本文认为，当前大型语言模型无法实现真正的理性（即识别和切换框架的能力），其根本原因在于架构限制而非规模不足。文中引用反转诅咒、框架转移问题等实证失败案例，并指出仅靠规模扩展可能无法弥合这一差距。

重新思考自进化大语言模型智能体的持续经验内化

arXiv cs.CL

本文研究了大语言模型智能体在多轮迭代经验内化过程中出现能力渐进式崩溃的原因，并提出了一套从经验粒度、注入模式和训练机制三个维度出发的鲁棒解决方案。主要发现包括：原则级经验、逐步注入方式以及离策略上下文蒸馏能够带来更稳定、更可持续的持续学习效果。