论文详情 - DISCO：基于基础-推理解耦的分布式长上下文扩展

来源：https://huggingface.co/papers/2609.33485

摘要

虽然大型语言模型（LLMs）宣称拥有百万级token上下文窗口，但随着输入增长，推理质量往往会出现崩溃——这种现象被称为“上下文腐烂”。这一失效源于单一架构中的结构性纠缠：上下文基础定位的巨大搜索负担耗尽了复杂推理所需的表征能力。为解决此问题，我们提出了通过分布式长上下文扩展实现基础-推理解耦（DIStributed long COntext scaling, DISCO）的方案。受Apache Spark等分布式计算框架启发，DISCO将长上下文分配给一组专门执行并行局部基础定位的工作LLM。一个通过强化学习（GRPO）训练以优化规划的核心驱动LLM，通过动态将查询映射为原子提取任务，并综合收集的证据生成最终答案来协调整个执行过程。通过将推理与原始上下文噪声隔离，DISCO有效消除了上下文腐烂。在RULER-QA（1M token）基准测试中，当标准基线模型完全失效时，DISCO仍能保持78.4%的准确率。此外，它在LongBenchv2上最高超越全上下文模型9.8个百分点，在匹配Gemini-3-Pro-Preview等前沿模型性能的同时，将推理成本降低超过80%，建立了一种高效鲁棒的长上下文推理范式。

查看arXiv页面（https://arxiv.org/abs/2609.33485）查看PDF（https://arxiv.org/pdf/2609.33485）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2609.33485）

在智能体中获取本文： hf papers read 2609\.33485

尚未安装最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

无关联模型 在模型README.md中引用arxiv.org/abs/2609.33485以从此页面关联。

引用本文的数据集0

无关联数据集 在数据集README.md中引用arxiv.org/abs/2609.33485以从此页面关联。

引用本文的Space0

无关联Space 在Space README.md中引用arxiv.org/abs/2609.33485以从此页面关联。

包含本文的收藏0

无收藏包含本文 添加本文到收藏（https://huggingface.co/new-collection）以从此页面关联。