标签
Gefen是一种内存高效的优化器，通过自动共享二阶矩估计并使用学习到的码本量化一阶矩，将AdamW的内存占用减少约8倍，同时保持与AdamW相当的性能。
Taylor-Calibrate提出了一种用于混合线性注意力模型的原则性初始化方法，显著提高了将预训练Transformer蒸馏为Gated DeltaNet学生模型的效率，实现了高达88倍的改进，并将训练token数量减少了4.9至9.2倍。
Flash-GMM 引入了一个用于高斯混合模型的融合Triton内核，实现了20倍加速，并能在单个GPU上训练比之前大100倍的数据集，使软聚类成为近似最近邻搜索中k-means的可行替代方案。
谷歌的TurboVec是一款新的开源工具，能将AI搜索数据的内存占用从31GB降至4GB。它基于TurboQuant，实现比FAISS更快的搜索，可集成LangChain和LlamaIndex，并完全离线运行。
本文揭示了LLM的零阶微调主要由单个解码层主导，该层可通过激活异常值识别，并且仅微调该层即可达到或超越全模型微调的效果，同时带来高达4.52倍的加速。
GRZO是一种新颖的零阶优化方法，用于微调大语言模型，通过群组相对归一化降低方差，与MeZO相比实现了更高的准确性和内存效率。
介绍了DualOptim+，一个面向LLM遗忘的优化框架，它使用共享基态和解耦增量态来平衡遗忘与保留目标，并提供量化变体以减少内存占用。
Rosalind 是一款基于Rust的确定性基因组学引擎，设计为以O(√t)内存运行全基因组流程，使得在笔记本电脑和边缘设备上进行生物信息学分析成为可能。
作者构建了TinyHarness，这是一个低内存占用的AI工具集，兼容Ollama、Llama.cpp和vllm，旨在与pi和opencode等工具竞争。
AirLLM是一个开源工具，优化推理内存使用，无需量化即可在单个4GB GPU上运行70B大语言模型，并支持在8GB显存上运行405B模型。
Orthrus 是一个双架构框架，结合了自回归大语言模型与扩散模型，通过共享KV缓存和共识机制实现快速并行令牌生成，同时保持精确推理保真度，速度提升最高可达7.8倍。
提出内存高效型循环Transformer（MELT），这是一种新型循环大语言模型架构，通过跨循环共享单一KV缓存，并结合插值过渡与注意力对齐蒸馏的分块训练方法，实现了推理深度与内存消耗的解耦。
GroupDPO 引入了一种内存高效的分组直接偏好优化算法，该算法利用每个提示的多个候选响应，通过解耦反向传播来减少峰值内存使用。该方法在离线和在线对齐设置中均展现出相比标准 DPO 的持续改进。