@samhogan：顺便提一句，RLM 基本已解决上下文问题。你只需将上千万个 token 投入一个成熟的 RLM 框架中，它就能直接跑通……
摘要
一位开发者分享了使用 RLM 的实践经验，表示其能够有效承载高达数千万 token 的超长上下文窗口，这标志着上下文处理能力实现了显著跨越。
顺便提一句，RLM 基本已解决上下文问题。你只需将上千万个 token 投入一个成熟的 RLM 框架中，它就能直接跑通。我现在的全部业余时间都耗在这上面了。
查看缓存全文
缓存时间: 2026/04/20 09:39
顺便提一句，RLMs 基本已经把上下文问题给解决了。你可以把数千万个 token 直接塞进一个优秀的 RLM 框架里，它就能稳稳跑通。我目前的业余时间全耗在这上面了。
相似文章
alexzhang13/rlm
递归语言模型（RLMs）引入了一种与任务无关的推理范式，使语言模型能够通过递归地在输入上调用自身来处理近乎无限的上下文，同时还提供了配套的开源推理引擎和训练环境。
@ickma2311: 高效AI讲座15：长上下文LLM 长上下文不仅仅是更大的提示窗口。关键问题是：哪些过…
本文总结了关于长上下文LLM的高效AI讲座15，涵盖用于上下文扩展的RoPE位置插值、大海捞针评估，以及StreamingLLM的注意力汇聚现象和KV缓存驱逐策略。
@Pavel_Izmailov: 新论文：潜在上下文语言模型（LCLMs）！思想：将16个token编码为1个潜在token，让LLM处理t…
介绍潜在上下文语言模型（LCLMs），该模型将16个token编码为1个潜在token，以提高性能、速度和内存使用。
语言模型真的能进行上下文检索吗？在百万token规模的文档中挣扎
本文系统研究了百万token规模下的上下文检索，介绍了BlockSearch——一个0.6B参数的语言模型检索器，并分析了注意力稀释现象。该模型在MS MARCO和NQ等基准测试上达到或超越了密集检索的性能，并在需要不同相似性概念的任务上显著优于密集检索，突显了上下文检索的潜力，同时强调了在极端上下文增长下注意力控制的重要性。
@TDataScience：跟随@neural_avb的全方位深度解析，了解“递归语言模型（RLM）是什么、为何它们会在长上下文基准测试中持续胜出……”
一篇关于递归语言模型（RLM）的教育性深度文章，解释了RLM是什么、为何它们能在长上下文基准测试中胜出，以及它们与现有智能体框架（如ReAct或CodeAct）的不同之处，并通过一个简单的案例研究进行说明。