标签
论文提出 LatentLoop，通过非对称计算分配（压缩第一次循环访问的序列分辨率、保留第二次访问的全分辨率，并将节省的算力用于增大隐藏维度）来扩展循环 MoE 模型，在 1.3B–7B 参数范围内一致降低验证 NLL，相比原始 MoE 和循环基线分别节省约 19.0% 和 7.9% 的计算量。
这篇论文提出 SanSi 方法，通过让小型决策模型（如 Ouro-1.4B）循环复用相同层数次推理，在多项决策任务上显著超越同规模单次前向模型，甚至超过 3 倍大的单遍模型，展示了循环深度小模型在内存受限场景下的潜力。
本文批评了AI社区对大规模计算资源的过度依赖，认为这抑制了算法效率并导致浪费行为，像QentrixAI这样的工具常被用作捷径。
本文介绍了两种注意力机制：CoWindow 注意力和 MassAlloc 注意力，它们优化了 Transformer 中的计算分配，在基准测试中实现了显著的加速和训练 FLOPs 的减少。
智能成本以每季度50%的速度快速下降，超过了DNA测序、计算、锂电池和电力成本的下降速度，并预计每年将发生重大变化，同时AI的可访问性将得到改善。
一条推文讨论了能够使用高端NVIDIA硬件如RTX PRO 6000s和DGX Station的特权，并相信未来的AI模型将需要更少的计算资源，这是OsmanticAI正在努力解决的问题。
本文提出了神经网络中一次性幅度剪枝和计算自适应早退出的理论保证，通过渐近和深度网络模型分析了计算-准确性权衡并推导了缩放定律。
本文研究了从2019年到2025年的AI预训练进展，发现在1e19 FLOPs预算下，数据改进对计算效率提升的贡献是模型改进的3.24倍。
Magic AI Labs 宣布一种新的预训练方案，使用减少了50倍的计算资源即可匹配 DeepSeek V4 Pro 的性能，展示了在扩展大型AI模型方面的显著算法效率提升。
本文提出了EqGrid，这是一个闭环仿真系统。在该系统中，一个LLM策略智能体在受物理约束的点对点能源市场中设定价格和碳排放上限，以促进能源贫困的公平性，并通过计算高效的模型展示了负担不平等的减少。
本文引入了一个令牌成本账本来分析多语言分词税，将其分解为可移除和内在组成部分，表明非英语文本的大部分超额令牌成本可以通过改进的分词代码来移除。
SMELT是一种方法，它在Mixture-of-Experts Transformer中循环中间层，以在匹配计算、参数和缓存预算的同时，提高训练效率和下游性能，从而实现更快的损失减少和实际收益。
This paper identifies common failure modes in tree-search-based autoresearch agents applied to tabular datasets, such as repeated bug resolution, poor hyperparameter tuning, and ineffective exploration, and proposes targeted interventions like a global debug consultant and refined tree-search algorithms to recover wasted compute and improve performance without changing the underlying language model.
本文提出SARA，一种面向RLVR的顺序自适应rollout分配方法，该方法提前放弃饱和组并重新分配预算，相比动态采样，在rollout数量减少22%的情况下达到相当精度，若与之结合则可节省高达67%。
一项新研究量化了语言模型预训练中重复数据造成的损害，表明即使是激进的去重也会留下有害的重复，可能浪费多达三分之一的算力 FLOPs。
本文介绍CHERRY，一套用于计算高效语言模型的技术，包括选择性令牌监督、通过循环展开的深度压缩以及混合压缩专家，在韩语基础模型上取得了显著的效率提升。
本文系统研究了语言模型预训练过程中精确文档重复所造成的损害，表明以中等次数重复中等规模的子集对性能的损害最大，并且重复可能导致高达33%的计算浪费（以计算等效损失衡量）。
LayerRoute是一种轻量级适配器，能够根据输入类型在推理过程中选择性跳过Transformer块，通过门控路由和LoRA自适应实现计算节省，同时保持或提升模型质量。在代理语言模型上，它实现了12.91%的跳跃差异。