昨天我看到一篇关于 δ-mem 并与 openclaw 集成的新研究论文
摘要
一篇关于 δ-mem 的新研究论文在与 openclaw 集成后,将智能体响应质量提升了 7-32%。该项目目前仅适用于 mlx 和 Qwen3:4b,但预计会推出其他模型的适配器。
将智能体响应质量提升 7-32%。根据传入内容,不会增加上下文窗口。不传入任何内容时提升 7%。该项目目前除 mlx qwen3:4b 外尚不可用,直到有人为其训练适配器。我建议让你的 claw 检查 huggingface,以便知道何时发布!原论文声称最高提升 30%,但我发现通过使用 openclaw 智能体可以获得更好的结果,最高达到 32%。基准测试已标准化,样本量 n=15。插件 GitHub 链接:[https://github.com/elimaine/openclaw-delta-mem-mlx-plugin](https://github.com/elimaine/openclaw-delta-mem-mlx-plugin) Clawhub 链接:[https://clawhub.ai/plugins/@elimaine/openclaw-delta-mem-mlx](https://clawhub.ai/plugins/@elimaine/openclaw-delta-mem-mlx) 原论文:[https://arxiv.org/abs/2605.12357](https://arxiv.org/abs/2605.12357) 我进行了大量基准测试,你可以在此处阅读详情;如果表格看腻了,可以向下滚动到图表,那里展示了重点信息。不过结果可能已发生变化,因为我又做了许多改进和加固。[https://github.com/elimaine/delta-mem-mlx-sidecar-w-openclaw/blob/main/wiki/Benchmark-Findings.md](https://github.com/elimaine/delta-mem-mlx-sidecar-w-openclaw/blob/main/wiki/Benchmark-Findings.md) TL;DR:传递 qmd vsearch 以获取适配器注意力状态。实现 32% 的提升,但代价是 30-61% 的速度下降。我的项目仅适用于 Apple Silicon 上的 mlx。将其移植到 CUdA 会很容易且更快。一旦 qwen3.6:27b δ-mem mlx 适配器发布,这将成为地球上最好的本地堆栈(更高参数除外)。祝各位实验愉快!
相似文章
我在Apple Silicon上使用MLX和OpenClaw集成了新的δ-mem研究!我的发现
作者使用MLX和OpenClaw在Apple Silicon上实现了δ-mem研究论文,展示了在本地AI代理测试中的内存和注意力改进,尽管与CUDA基准相比结果好坏参半。
@dair_ai: // δ-mem: LLM的高效在线记忆 // 这是我本月看到的最优雅的记忆机制之一。大多数长…
本文介绍了δ-mem,一种轻量级在线记忆机制,它通过delta规则学习更新的紧凑型关联记忆状态来增强冻结的LLM,在记忆密集型基准测试中取得了显著改进,无需微调或上下文扩展。
δ-mem:大型语言模型的高效在线记忆机制
本文介绍了 δ-mem,这是一种轻量级的记忆机制,通过为冻结的注意力骨干网络增加一个紧凑的关联记忆状态来增强大型语言模型。实验表明,该机制在计算开销极小的情况下,在记忆密集型基准测试中实现了性能提升。
@steipete: 看起来我们在性能上的投入得到了回报。
一个比较显示,Hermes Agent 在令牌处理时间和代码生成方面优于 OpenClaw,使用的是 MacBook Pro M5 Max 上的本地 Qwen 35B 模型。
@ggerganov: llama.cpp 为 Qwen3.6 系列添加 MTP 支持,这是本地AI生态系统的一个重要里程碑。性能提…
llama.cpp 为 Qwen3.6 系列添加了多令牌预测(MTP)支持,为在普通硬件上进行本地AI推理带来了巨大的性能提升。