gated-deltanet

Qwenputer：在 Qwen3.5-4B 权重内部嵌入完整 RISC-V CPU，利用模型自身的 Gated DeltaNet 层充当内存，可在前向传播中直接运行 C 和 MicroPython，无需外部运行时。在 DeepMind 数学基准上达到 97.5–100% 的成绩。

nesformer 是一个开源项目，通过编译器将 NES 的 6502 CPU、2KB RAM 与卡带 ROM 直接编译进一个未经训练的 Qwen3.5 模型权重中，让模型逐 token 预测 CPU 执行日志来运行《超级马力欧》等游戏，且帧输出与传统模拟器完全一致。

Qwenputer 是一个实验性的 Qwen 3.5 4B 模型，其权重中编译了一个功能完整、确定性运行的 RISC-V CPU。它利用模型自身的 Gated DeltaNet 层作为精确的 RAM，完全在前向传播过程中执行算术、C 语言和 MicroPython——无需任何工具或外部运行时。

HLA-WM 提出一种免训练的混合线性注意力框架，通过几何引导的检索与递归线性状态重组，缓解 GatedDeltaNet 在长时视频世界模型中的远距离遗忘问题。在 60 秒基准上，该方法以 12 倍内存节省同时提升了所有一致性与相机控制指标。

TinyCeNN-LM提出了一种质量门控的后训练转换框架，利用CeNN启发的细胞循环层来替代预训练语言模型中的注意力机制，旨在平衡效率与性能保持。

谱移引入了一种谱重参数化方法，通过重塑衰减谱来有效扩展门控 DeltaNet 模型的上下文窗口，并通过持续预训练提升其长上下文处理能力。

本文解释了为什么将混合LLM中循环Gated DeltaNet层完全量化为4位NVFP4能在长上下文基准测试中保持精度，详细阐述了异常值定位和鲁棒delta规则动态等机制。

Apple的Lily引擎通过利用统一内存和硬件，优化了Apple silicon上的设备端LLM推理，性能超越MLX-LM，并针对Qwen3.6-35B-A3B模型架构进行了调优。

本文介绍了MixerLoop，一种通过选择性循环语言模型中的混合器组件同时仅应用一次前馈网络来分配循环计算的方法，以在降低计算成本的同时提升性能。

本文在复杂序列建模任务上比较了 xLSTM、Mamba-2 和 Gated DeltaNet，发现 xLSTM 因其增强的状态追踪和记忆动态而更优，并在合成长度泛化任务上得到验证。