标签
作者认为，递归自我改进尚未形成真正的闭环，因为大多数学到的改进最终都被丢弃，因此将**记忆保留**定位为与**判别**和**晋升**并列的约束条件。该文披露了 **MemT 1.0**——一个将记忆状态融入模型自身计算过程中的 293B 模型，将于 10 月 20 日发布。
该论文提出了 CircuitTree，一种树形组合数据结构，以及一种按密度缩放的贪心算法，用于将从 HuBERT 中剪枝得到的多个电路组合成音节转录器，在电路共享率达到 99.5% 的情况下，实现了 64.8% 的开音节准确率，而不共享电路时的准确率上限为 66.0%。
NinaXander 提出通过单一共享隐空间适配器来组合来自不同架构族（Transformer 与 RWKV）的冻结语言模型，在不损失 RWKV 单独使用时准确率的前提下实现了 84.4% 的 KV-cache 削减；但组合后的模型仍逊于其最强的母模型，且在分布外场景下性能会下降。
本文提出SpeechCombine，一种无需任何指令微调的指令跟随语音语言模型，仅通过语音预训练和一种权重组合策略，将文本大语言模型的能力迁移到语音领域。
Hermes Agent 0.18.0 Runtime 正式上线，新增 /moa 与 /learn 指令，完善组合模型调用和学习上下文能力。