optimization

MIT Press 出版的 634 页著作《Algorithms for Optimization》现提供免费 CC-BY-NC-ND 许可的 PDF 版本，第二版（包含 Julia 实现以及关于 DCP、代理模型和多学科优化的新章节）将于 2027 年 1 月 5 日发布。

一篇研究博客文章发现，前沿 LLM 能够原生读写神经网络权重——诊断训练后的策略、编辑权重以修复推理循环并将 Qwen3.5-0.8B 在 MATH-500 上的成绩从 7.9% 提升至 48.1%、以及手工编写小型游戏网络——作者将这一能力称为「权重空间编程」（Weight-Space Programming）。

Cloudflare 详细介绍了其 DNS Zone Builder 如何通过针对性的构建规划器和全新的调度器，在区域规模增长至数亿条记录的情况下，将峰值内存占用降低 85%，并将 DNS 变更数据到达 Quicksilver 的延迟缩短一半。

该论文提出了一种代理模型辅助的遗传编程框架，用于动态柔性作业车间调度中调度规则的终身学习，采用自适应两阶段训练策略和基于任务相似性的加权方法，在适应新任务的同时缓解灾难性遗忘。

该论文研究随机舍入如何影响低精度训练中的预测风险，针对两层线性网络推导了匹配的上下界，并给出了随计算量、模型规模、训练时长与精度变化的缩放定律，揭示前向与后向舍入对最优计算缩放的不同影响。

该论文研究具有已知有向反馈图的对抗性多臂老虎机的一阶遗憾保证，通过固定点采样规则和两层聚合方法，将强可观察图的期望遗憾改进至接近最优的 Õ(√(αL*) + α)，弥合了最坏情况与一阶保证之间的图依赖差距。

论文提出 DecompGym 基准，包含来自九类问题族的 81 个实例，用于评估 12 个 GPT、Claude、Gemini 编码智能体设计与实现 Benders 分解和列生成求解器的能力，并比较了独立重生成与反思两种失败修复策略的效果。

一篇深入探讨 GCC 如何对 switch 语句进行降级处理的博客文章，展示了它如何将 switch 转换为跳转表（包括偏移量处理以及每个标签约 8 个条目的稀疏度阈值），并在更稀疏的情况下回退为由比较构成的决策树。

一位研究人员分享称，智能体循环的行为类似于没有梯度的随机梯度下降，并报告说，经过一夜的 DeepSeek 优化，每步耗时降至 2.32 毫秒，突破了他们估计的 2.5 毫秒下限。他们还观察到，收益逐渐递减，实验接受率稳定在约 46%，改进幅度呈指数衰减，而如何在智能体群体中进行离散优化仍是一个尚待解决的挑战。

LFM3-1.7B 和 LFM3-VL-2B 现已可通过开源的 Private Mind 应用在 iPhone 和 Android 上完全离线运行，并附有详细说明，介绍了将 LFM3 的新型架构（门控卷积、混合注意力、滑动窗口缓存调整）导出到 ExecuTorch 所需的工作，在 iPhone 16 Pro 的 GPU 上实现了约 40 token/秒的速度。

该论文指出，权重归一化（WN）训练的收益主要源于其诱导出的有效学习率（ELR）轨迹，而非归一化本身，并据此提出 AIR（仿射平方根倒数衰减）调度策略。在 1280 亿词元的混合专家模型（MoE）预训练实验中，AIR 在训练损失、下游性能和超参数鲁棒性方面均优于余弦退火等调度方案。

根据一条暗示即将发布新版本的预告推文，目前正在进行的优化工作将使 OXC 解析器的速度提升至原来的约 3 倍。

该论文确定了在重尾噪声（有界中心 p 阶矩，1<p≤2）下，平滑凸目标的裁剪 SGD 最后一次迭代的时间一致最优收敛速率，证明了无需已知时间跨度的调度可达 O~(t^{-2(p-1)/(3p-1)})，且不存在更优的规则，回答了未知停止时间对收敛的代价问题。

RadonBench 是一项新基准，用于比较经典搜索方法与学习引导的搜索方法（穷举扩展、贪心局部搜索、PatternBoost、AlphaZero、AlphaEvolve）在构造最大基数的无 Radon 格点构型方面的表现。所有经审查的运行均未达到 Z^3 中 11 个点或 Z^4 中 21 个点这两个尚未解决的目标，但该研究为人工智能辅助数学发现建立了可复现的、接近目标的基线。

Garry Tan 提到正在努力精简 GStack 以减少 token 消耗和任务延迟，有回复指出 CI 流水线耗时从 7 分钟降到 3 分钟，同时询问了 20 个并发 subagent 造成的延迟波动问题。

一位 Stanford CS312（Deep Learning Alchemy）的讲师发布了考试风格的预测题，考察深度学习直觉：在用 AdamW 训练的 Transformer 中，批量大小增加 8 倍后，能否通过调整学习率或权重衰减来补偿？

提出了 PACE（研究证明代理），支持在应用数学中联合进行猜想修订与证明开发，包含研究循环、独立验证器与证据追踪记忆，并发布了聚焦优化领域的 ResearchProofBench 基准，包含 51 个已知证明任务和 6 个开放问题案例。

该论文提出 OptABA-PC，将条件独立性事实的修复形式化为最小代价校正问题，并在回答集编程（ASP）中实现，从而在 Causal ABA 基础上提供带健全性/完备性保证的可审查修复对象与用户异议的正式纠正机制。

提出 CA-DPSGD 框架，利用近似二阶信息构建曲率感知的梯度裁剪空间，以缓解 DPSGD 中的裁剪偏差问题，并在图像和句子分类基准上验证其优于现有裁剪方法。

一篇分析 LoRA 对学习率选择的敏感性并提出 Init[A²] 的论文。Init[A²] 是一种采用方差缩放的新初始化方案，可抑制初始化引入的噪声，稳定非对称 LoRA+ 训练，并拓宽大语言模型微调的稳定学习率范围。