optimization

We introduce TWIG (Tree-structured Weights with Inherited Gates), a representation where every neural network weight is the endpoint of a path of shared discrete decisions, unifying pruning, quantization, low-rank factorization, and weight sharing into a single editable object optimizable via higher-order Boltzmann machine ground-state solvers, achieving 9–15% fewer additions than GPTQ at equal LLM layer error.

该论文构建了一个最小化的策略学习模型，从数学和数值上分析了课程学习在奖励稠密与奖励稀疏情形下的效果差异，发现课程学习在稀疏奖励且存在竞争性最优解时几乎是必需的。

The paper provides an asymptotic theory explaining why Muon's orthogonalization preconditioner matches the neural network Hessian structure at initialization, showing that overparameterization drives diagonal dominance of E[GG^T] across four canonical models.

该论文基于等变度数理论（equivariant degree theory）提出了一种通用的拓扑对称性指数，用于刻画神经网络损失景观中临界轨道的各向同性及其净拓扑贡献，适用于任意网络架构并给出软激活 MLP、Transformer 和等变神经网络的计算示例。

论文提出 OptEP，一种面向混合专家（MoE）语言模型的后训练专家剪枝方法，通过连续松弛优化专家选择变量并结合重构驱动的权重更新，在 Qwen3、GLM-4.5-Air、Mixtral 等模型上显著优于现有剪枝基线，激进剪枝下精度提升最高达 16.20%。

Hugging Face 主播了一场名为 Local AI 202 的直播，介绍如何通过推测解码（Speculative Decoding）大幅提升本地 AI 推理速度，现提供回放。

该论文提出 LeMA，一种用于多 GPU 大规模神经网络训练的分布式 Levenberg-Marquardt 算法，通过精确对偶公式与 Jacobian 分片策略，将内存开销从参数量平方降低到批量大小平方，并在约 10 亿参数 CNN 上实现 8 GPU 近线性扩展。

该论文研究了分布式训练中外部Nesterov动量在随机伪梯度上的稳定性，推导了随机二次模型上的精确均方稳定性判据，揭示了内层批量大小、本地步数与工作节点平均对训练稳定性的联合影响，并在神经网络上验证了理论结论。

BOLT 提出多瓶颈界引导学习方法，用于带时间滞后与资源耦合运输的柔性作业车间调度，可在毫秒级给出机器与运输车分配并提供最优性下界保证。

Épi is an autonomous research agent that persists across sessions, learns from accumulated experience, and achieves record-setting mathematical and algorithmic results at reduced compute cost, including 120 records and proofs like Tuza's conjecture for split graphs, plus Épi-turbo for OR coding tasks outscoring Codex on FrontierOR.

介绍了在浏览器中运行的交互式线性规划工具，让用户可以直接在网页环境里构建、求解并可视化线性规划问题。

本文提出'solver-sufficient symbolization'概念，从推理算法视角定义符号的计算有用性，并开发反例引导的符号发明算法，用于混合离散-连续机器人规划，在仿真与真实机器人任务中降低求解成本同时保持解质量与可解释性。

Part 1 of a 3-part series arguing that on-policy RL, distillation, and near-policy SFT updates are sparse, showing that because the score has zero mean under the sampler's distribution, the expected gradient is a covariance and the Fisher a variance, bounding any update regardless of reward.

Yohei Nakajima 介绍并发布了一种名为 "Hardening"（软到硬的形状延续）的新型打包搜索方法，在 188 个实例上与退火、增长等基线对比，发现它虽非默认更优，但能到达其他方法错过的最优打包（如正方形 n=17、n=26）。研究由 Claude (Anthropic) 协助开发实验、代码与验证。

提出一种两遍式动态 k-NN 图调度方法，通过阻尼不动点迭代与信任域补偿，在 SE(3) 等变结构预测中以 1.5×/1.76× 加速而不损失精度，并给出非翻转证书与近间距解析定律。

一位用户分享了对本地 LLM 推理工具 Strata 的深度性能调优经验，通过调整 --pcie-frac、--pool-workers、--trim-stage-weights、--pipeline-windows 等参数并在双 RTX 3060 上优化 GPU 优先级，实现了约 35 tps 到 60+ tps 的解码速度提升。

Erich Friedman's Cubes in Cubes packing page now officially lists Yohei Nakajima's new n=12 cube packing record (s=2.93151) from October 2026, beating Haowei Lin's earlier record and inspiring further records in squares, polygons, and tesseracts.

PortSimEnv 发布了详细实现细节，这是一个基于巴塞罗那港 2024 年 1,784 艘集装箱船靠泊记录构建的确定性强化学习环境，用于泊位规划任务，并基于 Scale AI 的 AgentEnv Framework 构建。

OpenAI 推出 Codex 桌面应用的存储优化，通过改进磁盘数据读取方式，使线程占用空间减少最多 60%，以解决重度用户磁盘不足的问题。

该论文提出 REASON 双循环推理框架，通过快速（System 1 式）和中速（System 2 式）循环分层解决残差误差，在分布偏移和未见扰动下以约一半计算量显著提升模型鲁棒性，并优于分级分类器和学习延迟方法。