rwkv

作者介绍了 Helix-AGI，一个开源智能体框架，它用双 RWKV 双头架构取代了 JSON 工具调用：将负责对话的 Speaking Head 与非语言的 Sensory-Actualizer Head 配对，在潜空间中耦合，并由一个记录习得习惯行为的 Habitus 图驱动，支持实时可视化。

论文提出 HART，一种混合注意力与 RWKV 的时间序列基础模型，通过交替注意力和 RWKV 模块解决非自回归多步预测中 RWKV-7 的长程退化问题（占位符空闲衰减）。仅用 36M 参数（约为 Toto-2.0-1B 的 1/28）在 GIFT-Eval 上达到可媲美的长程 MASE（0.752 对比 0.754）。

NinaXander 提出通过单一共享隐空间适配器来组合来自不同架构族（Transformer 与 RWKV）的冻结语言模型，在不损失 RWKV 单独使用时准确率的前提下实现了 84.4% 的 KV-cache 削减；但组合后的模型仍逊于其最强的母模型，且在分布外场景下性能会下降。

文章对比了Mamba和RWKV两个AI模型架构阵营的路线：Mamba面向云侧企业AI平台，RWKV面向端侧和边缘设备，各自适配不同硬件与推理场景。

RWKV是一种新颖的语言模型架构，结合了RNN的高效性和Transformer的可并行化特性，以线性时间复杂度和恒定内存占用实现了强大的LLM性能。

BlinkDL 宣布了 RWKV-7 G1g，一种纯 RNN 大型语言模型，声称是其同类中最好的，且与通用 LLM 竞争，在单个 RTX 5090 上具有高速推理性能。

Ali Hatamizadeh 宣布了 Gated DeltaNet-2，一种新的线性注意力模型，在 1.3B 规模上优于 KDA 和 Mamba-3；@BlinkDL_AI 指出其循环与 RWKV-7 的 DPLR 几乎相同。