optimization

本文提出 FAER，这是一个面向语言模型后训练的可审计全轨迹重放框架。该框架形式化了缓存级选择反馈与下游学习者效用之间的差距，并表明一个学习者感知的选择器（FAER-UTILITY）在 GSM8K 上配合 Qwen2.5-1.5B-Instruct 时，表现优于基于格式反馈和均匀采样的基线方法。

本文以心理学文献中的人类言语不确定性标记为基准对大模型进行评测，并提出 VOCAL——一种基于优化的算法，可直接从大模型的输出中学习最优的标记-不确定性映射，揭示了大模型与人类在语言表达置信度方面存在的系统性差异。

本文将 Adam 视为自然梯度下降的对角经验 Fisher 近似，并在逻辑回归、线性回归以及小型神经网络的损失景观上度量其几何偏差。结果表明，病态性越强偏差越大，但 Adam 仍能达到较低的损失值，这说明其有效性源于近似误差的平衡与动量平滑效应，而非真正追踪自然梯度下降。

新预印本提出了 SoftServe，一种针对非凸目标设计的拟牛顿优化方法，可扩展到超大规模神经网络，旨在解决拟牛顿方法在现代深度学习中的实用性问题。

提出一种新的滚动时域近似分支-归约方法，用于在具有连续特征的大规模数据集上训练近最优的深度分类树，在精度上优于启发式基线方法，同时具备远超全局最优求解器的可扩展性。

该论文提出 Robust Nash Alignment，一个面向不确定成对偏好的博弈论对齐框架，通过主-对偶代理博弈与乐观镜面下降-上升算法，实现了对最坏情况胜率的认证下界，并在 LLM 对齐实验中优于基线方法。

该论文提出一种以异质性为驱动的框架，用于挑选互补的 LLM 团队：先通过分析误差去相关性与预测分歧来构建模型画像，再采用贪心算法优化“质量–互补性”目标，实验表明该方法在多个基准上优于仅按质量排序的 top-k 基线。

作者对Qwen3-4B进行了后训练，以减少推理中44%的令牌使用，同时保持其知识和风格，训练在单个GPU上完成。

一篇新论文提出了 TMLN（轨迹调制式地形导航）方法，将持续学习视为在弯曲损失地形上的最优控制问题，利用对角经验 Fisher 信息矩阵以及基于轨迹的梯度预条件化，在无需附加正则化惩罚项的情况下缓解灾难性遗忘。

本文通过从上下两侧对最小词元数进行界定，量化了分词前边界规则的压缩代价，并证明了在英文维基百科上，正则边界会使最优词元数增加28.3%–36.8%；同时表明，以压缩最优化为目标构建的词元字典并不一定能提升语言模型的预测质量。

该论文研究了LLM驱动的自动发现(算法、定理、药物等)中harness设计与初始化的作用，发现探索过程存在mode collapse这一常见失败模式，并提出通过并行探索初始化来为后续迭代优化提供一致性能增益的通用方法。

AMD借助Linux 7.4的优化，将Radeon集成显卡的AI和大型语言模型性能提升18-23%。

本文认为，针对特定模型和硬件优化的一次性专用推理引擎，其性能将超越如 llama.cpp 等通用引擎，并预测它们将成为 AI 推理领域的主流趋势。

本文讨论了 Rust 中并发缓存中昂贵克隆操作的问题，并提出了使用 Arc 向下转型作为解决方案以减少性能开销。

此仓库帮助DGX Spark用户利用备用GPU释放内存，以提升上下文长度或量化质量，通过远程推理卸载草稿模型，并使用vllm修改版。

NeuralCert提出了一种使用神经网络从发现到认证的框架，用于发现和验证极值数学构造，从而实现精确且可独立验证的证明。

本文分析了在广义平滑性和重尾噪声下，裁剪在AdaGrad中的关键作用，证明了它能防止各向异性失调，并提供了高概率收敛保证。

NanoGPT创下新性能记录，通过对单个浮点运算进行优化，将处理时间减少40%，达到39.9秒。

本文介绍了上下文语言模型（Context Language Models, CLMs），这些模型通过将上下文视为文件来原生管理自身上下文，实现了超越当前最先进方法的性能，并支持上下内和参数化的上下文管理策略学习。

文章概述了九条提示纪律规则，基于对GLM 5.3和GLM 5.3 Flash模型的A/B测试，这些规则将编程智能体中浪费的思考量最多减少了70%，并在GitHub上提供了一个可供自测的测试。