论文页面 - MiA-Signature：近似全局激活以理解长上下文

来源: https://huggingface.co/papers/2605.06416

摘要

研究人员提出了一种用于大型语言模型全局激活模式的压缩表示方法，该方法在保持计算效率的同时近似完整的激活状态，并提升了长上下文任务中的性能。

越来越多的认知科学研究表明，可报告的有意识访问与分布式记忆系统上的全局点燃（global ignition）相关，而这种激活仅是部分可访问的，因为个体无法直接访问或枚举所有被激活的内容。这种张力暗示了一种合理的机制，即认知可能依赖于一种紧凑的表示形式，以近似激活对下游处理的全局影响。受此启发，我们引入了 Mindscape Activation Signature (https://huggingface.co/papers?q=Mindscape%20Activation%20Signature)（MiA-Signature）的概念，这是一种由查询引发的全局激活模式的压缩表示。在 LLM 系统中，这是通过基于子模的选择（submodular-based selection (https://huggingface.co/papers?q=submodular-based%20selection)）覆盖被激活上下文空间的高层概念（high-level concepts (https://huggingface.co/papers?q=high-level%20concepts)）来实现的，并可选择通过利用工作记忆（working memory (https://huggingface.co/papers?q=working%20memory)）进行轻量级迭代更新来进一步优化。由此产生的 MiA-Signature 作为一种条件信号，在保持计算可行性的同时近似了完整激活状态的效果。将 MiA-Signature 集成到 RAG (https://huggingface.co/papers?q=RAG) 和代理系统（agentic systems (https://huggingface.co/papers?q=agentic%20systems)）中，在多个长上下文理解（long-context understanding (https://huggingface.co/papers?q=long-context%20understanding)）任务中产生了持续的性能提升。

查看 arXiv 页面 (https://arxiv.org/abs/2605.06416)查看 PDF (https://arxiv.org/pdf/2605.06416)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2605.06416)

在您的 Agent 中获取此论文：

hf papers read 2605\.06416

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无关联此论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2605.06416 以从本页链接它。

引用此论文的数据集0

无关联此论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2605.06416 以从本页链接它。

引用此论文的空间0

无关联此论文的空间

在空间的 README.md 中引用 arxiv.org/abs/2605.06416 以从本页链接它。

包含此论文的收藏集0

无包含此论文的收藏集

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从本页链接它。