标签
作者使用MLX和OpenClaw在Apple Silicon上实现了δ-mem研究论文，展示了在本地AI代理测试中的内存和注意力改进，尽管与CUDA基准相比结果好坏参半。
提出 delta-Mem，一种轻量级在线记忆机制，利用紧凑状态矩阵并通过增量规则学习进行更新，以提升冻结大型语言模型的长上下文性能，无需全量微调或上下文扩展。
一条推文指出，谷歌里程碑式的《Attention is All You Need》论文源于一次试图将谷歌翻译性能提升3%的微小改进尝试，这表明创新往往源于生产挑战。
CompactAttention引入块合并KV选择机制，加速长上下文LLM的分块预填充，在LLaMA-3.1-8B模型128K上下文下实现最高2.72倍注意力加速，同时保持与稠密注意力相近的精度。
AttnGen是一个注意力引导的训练框架，它将可解释性嵌入到用于基因组序列分类的深度神经网络优化中，实现了更高的准确率，并鼓励模型关注信息性核苷酸位置。
EndPrompt 提出了一种方法，仅使用短训练序列即可扩展大语言模型的上下文窗口，通过将终端提示锚定到目标长度的位置索引。该方法在基准测试中取得了优异结果，且计算量远少于全长度微调。
本文介绍了δ-mem，一种轻量级在线记忆机制，它通过delta规则学习更新的紧凑型关联记忆状态来增强冻结的LLM，在记忆密集型基准测试中取得了显著改进，无需微调或上下文扩展。
本文通过Lyapunov谱分析发现，MLP和注意力谱范数之间的比率能够预测Transformer模型的几何稳定性，最优范围在0.5–2之间，可防止秩坍缩。
本文介绍了 δ-mem，这是一种轻量级的记忆机制，通过为冻结的注意力骨干网络增加一个紧凑的关联记忆状态来增强大型语言模型。实验表明，该机制在计算开销极小的情况下，在记忆密集型基准测试中实现了性能提升。
介绍了 triattention v3，一种新的注意力机制，能够在长上下文推理中实现安全驱逐且不丢失召回，并在混合 mamba+attention 模型上演示了高达 256k 令牌的效果。