@lateinteraction: 直觉：压缩是智能递归（RNNs），而递归（RLMs）是智能注意力。递归保持……

X AI KOLs Timeline 新闻
ai-architectures recurrence attention rnn rlm

摘要

文章分享了一个直觉，即RNNs中的压缩代表智能递归，而RLMs中的递归代表智能注意力，比较了AI模型中不同的上下文处理方法。

直觉：压缩是智能递归（RNNs），而递归（RLMs）是智能注意力。 递归通过压缩过去的信息，在所有时刻保持一个恒定大小的状态。 注意力保持所有上下文完整表示，然后为每一步决定如何重新处理它。
查看原文
查看缓存全文

缓存时间: 2026/08/15 19:50

直觉：压缩对应自主递归（RNN），而递归（RLM）则对应自主注意力。

递归通过压缩历史信息，在任何时刻都维持固定大小的状态。

注意力则完整保留所有上下文信息，并在每一步决定如何重新处理这些内容。

相似文章

递归语言模型

Papers with Code Trending

本文介绍了递归语言模型（Recursive Language Models, RLMs），这是一种推理策略，使大型语言模型（LLMs）能够通过将任意长的提示视为外部环境，并在提示片段上递归调用自身来处理这些提示。RLMs可以处理超出上下文窗口两个数量级的输入，并且在长上下文任务上以可比的成本优于基础LLMs。

alexzhang13/rlm

GitHub Trending (daily)

递归语言模型（RLMs）引入了一种与任务无关的推理范式，使语言模型能够通过递归地在输入上调用自身来处理近乎无限的上下文，同时还提供了配套的开源推理引擎和训练环境。