optimization

该推文总结了优化 LLM 推理的 12 种 KV 缓存技术，包括滑动窗口、跨层共享、MLA、量化、前缀复用、分页、驱逐和 GQA/MQA 等，帮助开发者根据具体瓶颈选择合适的组合。

一篇深入的调试记录，展示了 antcc 的 -O2 性能劣化如何让一个 Lua 基准测试比未优化构建慢 1.4 倍，并逐步追踪 luaV_execute 中 2.4 倍的代码体积膨胀——从内联启发式与 IR 展开，一直排查到指令选择与寄存器分配。

该论文研究了在结果依赖截断和删失条件下的生存分析模型高效学习问题，证明了在已知基线风险时 Cox 回归可通过一阶优化高效学习，同时构造了存在严格次优局部极小值的可识别模型，并在实验中展示了相比期望最大化方法的数量级加速。

DuoDiscover 是一个自主发现搜索系统，通过让编码代理协同发现优化目标与快速代理评估器（yardstick），并用保真度测试防止代理指标漂移，来突破自主发现中的评估瓶颈。在 SWEfficiency、SOL-Exec、vLLM、SQLite 及 CPU 微架构优化等多个基准上取得显著成果，部分任务上超越 AlphaEvolve 系统与人类专家。

一位爱好者详细介绍了如何在一台由四块AMD BC-250矿卡组成的集群（总成本500美元）上，使用llama.cpp结合Vulkan RPC及MTP投机解码、Vulkan指令录制回放、上下文处理优化等激进优化手段，以约70 tok/s运行Next Flash（IQ3_XXS）并支持100k上下文，以及以约145 tok/s运行两个Qwen 3.6 35B A3B实例并支持256k上下文。

一篇技术博客，介绍如何利用浮点数指数相当于对数这一特性，用 AVX2 浮点指令实现可向量化的 clz（前导零计数）和 ctz（尾随零计数）多播（polyfill），并在 Haswell/Alder Lake 上给出优于标量版本的性能数据。

MaRN（Mapping Networks）是一个新的开源 PyTorch 库，它通过优化一个紧凑的潜在表示而非直接优化全部参数来训练神经网络，在 MNIST 上实现了最高 57.7 倍的参数缩减，同时仅带来适度的精度损失。作者分享了探索性的基准测试结果，并邀请社区对该方法提供反馈。

一篇技术博客深入解释了投机解码为什么快：并非因为总FLOPs减少（实际上反而增加），而是因为它改变了GPU的工作类型——在低批量场景下把原本空闲的算力从内存瓶颈（memory-bound）转为计算瓶颈（compute-bound），用单序列的'深度'换取了批量解码的'广度'。

该论文研究多智能体 bandit 学习中探索信号泄露带来的安全隐患，提出 deceptive bandit learning（DBL）动力学，证明对手可通过耦合自身探索注入外部性，使系统收敛到新的 deceptive Nash equilibrium（DNE），并保持最优收敛速率且放宽了二阶光滑性假设。

FedRSPO+：一种面向决策聚焦联邦学习的异构感知算法，它基于 RSPO+ 正则化的预测-优化替代损失，利用平滑的决策映射，在客户端目标与约束存在异构时仍能保持稳定的优化过程，并给出了一个随异构程度增大而缩放、在同构设定下退化为零的跨客户端误差界。

论文提出了 ORACLE，一种基于优化器的相对约束学习方法，通过评估约束与优化后更新量之间的兼容性，而非直接在目标函数或梯度层面评估。在八个偏微分方程基准上的实验表明，ORACLE 在 94% 的配置中优于原生优化器。

rauchg 认为，任何程序都可以被无限地加固和优化，但这会带来实实在在的时间和注意力成本——即使在 token 无限的世界里，工程师也必须决定何时停止，因为 AI 智能体会毫无节制地钻下去。

Quail，一个开源 AI-SQL 引擎，新增了前缀共享（prefix sharing）支持，在对 1,772 条长 agent 轨迹使用 qwen3-4b 打标签的示例中，计算 token 减少 3 倍，查询速度提升 2.6 倍。

一条推文声称，将 Opus 5.5 与 Jev 结合是目前最强大的 AI 模型组合，据称速度比单独运行 Opus 快 200 倍、成本低 400 倍，并承诺公开具体配置方法。

Meta 正在开源 Rebalancer，这是一款在内部使用了九年的指派问题求解器，用于处理其基础设施上的资源分配，包括硬件放置、服务/任务放置以及流量路由。它同时提供最优 MIP 求解器和并行化局部搜索求解器，在 Meta 每天处理约 4000 万个问题。

Dust论文提出了首个在Transformer上与反向传播具有竞争力的零阶预训练方法，通过对逐token的激活进行扰动，使每个token成为虚拟种群中的一个成员，并在一次前向传播中完成评估。论文报告称，与EGGROLL等权重空间进化策略方法相比，效率最高可提升10^3–10^4倍；同时发现更大的模型具有更高的种群效率，表明零阶方法在算力充足的条件下具备扩展潜力。

MuLoRA 提出了一种面向持续学习的谱均衡低秩适配方法。该方法识别出 LoRA 更新中的「谱可塑性坍缩」现象，并通过历史白化和基于动量的正交化加以应对，在类别增量基准的 16 项指标中有 15 项取得了最佳平均准确率。

本文认为，人类智能是进化中罕见的偶然事件，而非必然的终点；而AI能够直接针对明确目标进行优化，并在可衡量的任务上迅速超越人类。因此，对人类而言，更难的问题不是构建能力，而是如何定义有价值的目标，同时避免将模型引向错误的能力方向。

Strata 0.1.39 发布了多 GPU 优化，据用户反馈部分场景推理速度翻倍，实测在 4090 48G 上运行千亿参数的 Qwen3.8-Flash-Next 获得了显著的 token/s 提升。

MetaKernelBench 引入了一个基准，用于衡量 GPU kernel 优化智能体在一个 DSL（CuTeDSL）中提炼的经验能否迁移到另一个 DSL（TIRx）解决同一问题。结果显示六款模型的提升幅度参差不齐，范围从 -19% 到 +29%。