LLM的下一个重大‘扩展时代’是什么

Reddit r/singularity 新闻
llm-scaling scaling-laws chain-of-thought agents recursive-self-improvement ai-trends speculation

摘要

作者回顾了过去LLM的扩展时代（模型规模、思维链、智能体），并推测下一个重大扩展维度，提出递归自我改进可能是一个突破。

在我看来，有三个时代：更大的模型、更好的思维链、智能体，在这些之下有许多小的改进（更长的上下文、多模态、MoE、蒸馏、量化等）。思维链和智能体两者都曾暗流涌动了一段时间，直到它们突破。同样，在我看来，这些进步会饱和，长期改进相对于投入的计算量是亚线性的。现在有什么正在“酝酿”并且可以被视为下一个扩展维度或重大变革？ 更新：RSI——在我看来——回答的是“谁”而不是“什么”。当然，这意味着更多的计算资源再次分配给训练。什么突破最可能通过RSI实现？
查看原文

相似文章

LLM智能体系统中技能的规模化定律

arXiv cs.CL

本文识别了LLM智能体系统中技能库的两个耦合规模化定律：路由准确率随库大小呈对数衰减，执行动态表现出救援效应。这些定律在15个模型和超过百万次决策中得到验证，且定律指导的优化显著提升了性能。

2倍，而非10倍：2026年使用LLM编程

Hacker News Top

作者认为，由于LLM能够处理易于验证的任务，目前可为编程提供约2倍的生产力提升，但根本性限制使其无法实现10倍改进；进一步的提升将来自围绕现有能力重构工具，而非模型改进。