EvoEmbedding：面向长上下文检索与智能体记忆的可演化表示

Hugging Face Daily Papers 论文
embedding long-context retrieval agentic-memory representation-learning latent-memory evolvable-representations

摘要

EvoEmbedding是一种动态嵌入模型，它维护一个持续更新的潜在记忆，为长上下文检索生成自适应表示，性能优于更大的专业模型，并改进智能体工作流。

现有的嵌入模型本质上是静态的：它们孤立地编码文本片段，忽略其周围上下文和时间顺序。本文介绍了EvoEmbedding，一种生成可演化表示用于检索的新型嵌入模型。它专为长上下文场景设计，其中信息是动态的、顺序的，并且需要持续的状态跟踪。我们的设计很简单：EvoEmbedding在顺序处理输入时维护一个持续更新的潜在记忆，并将其与原始内容一起用于联合生成可演化嵌入。因此，对于相同的查询，我们的模型会根据演化上下文调整其表示以检索不同目标，从而超越静态语义搜索。为了赋予模型这种能力，我们构建了EvoTrain-180K，一个用于潜在记忆和检索联合优化的多样化数据集。此外，我们引入了一个记忆队列以防止循环编码期间的表示崩溃，以及分段批处理技术来解决显著的长度变化并将训练速度提升3.8倍。大量实验表明，我们的模型不仅在多项长上下文检索基准上优于更大规模的专业模型（例如Qwen3-Embedding-8B和KaLM-Embedding-Gemma3-12B），而且能很好地泛化到上下文比训练窗口长10倍的下游任务（例如个性化）。值得注意的是，EvoEmbedding可以无缝集成到智能体工作流中以提高性能。例如，一个配备我们模型的简单RAG管道超越了专门的智能体记忆系统。项目页面：https://clare-nie.github.io/EvoEmbedding。
查看原文
查看缓存全文

缓存时间: 2026/06/23 05:41

论文页面 - EvoEmbedding: 面向长上下文检索与智能体记忆的可演化表征

来源: https://huggingface.co/papers/2606.21649

摘要

EvoEmbedding 是一种动态嵌入模型，通过维护持续更新的隐式记忆生成自适应表征，从而在长上下文场景中提升检索性能。

现有嵌入模型本质上是静态的：它们孤立地对文本片段进行编码，忽略了其周围上下文与时间顺序。本文提出 EvoEmbedding，一种新颖的嵌入模型，用于生成可演化表征 (https://huggingface.co/papers?q=evolvable%20representations) 以进行检索。它专为长上下文场景量身定制，这些场景中信息是动态、顺序性的，并需要持续的状态追踪。我们的设计简洁：EvoEmbedding 在顺序处理输入时维护一个持续更新的隐式记忆 (https://huggingface.co/papers?q=latent%20memory)，并将其与原始内容共同用于生成可演化的嵌入。因此，对于同一查询，我们的模型会根据不断演化的上下文调整其表征以检索不同的目标，从而超越静态语义搜索。为了赋予模型这种能力，我们构建了 EvoTrain-180K，一个多样化的数据集，用于隐式记忆 (https://huggingface.co/papers?q=latent%20memory) 与检索的联合优化。此外，我们引入了记忆队列以防止循环编码过程中的表征坍塌 (https://huggingface.co/papers?q=representation%20collapse)，同时采用分段批处理 (https://huggingface.co/papers?q=segment-batching) 技术应对显著的长度差异，并将训练加速了 3.8 倍。大量实验表明，我们的模型不仅在多项长上下文检索 (https://huggingface.co/papers?q=long-context%20retrieval) 基准上优于更大规模的专业模型（例如 Qwen3-Embedding-8B 和 KaLM-Embedding-Gemma3-12B），而且在上下文长度超出训练窗口 10 倍的下游任务（例如个性化）中也具有良好的泛化能力。值得注意的是，EvoEmbedding 能够无缝集成到智能体工作流 (https://huggingface.co/papers?q=agentic%20workflows) 中以提升性能。例如，配备我们模型的简单 RAG 流水线 (https://huggingface.co/papers?q=RAG%20pipeline) 超越了专用的智能体记忆系统。项目页面: https://clare-nie.github.io/EvoEmbedding/。

查看 arXiv 页面 (https://arxiv.org/abs/2606.21649)查看 PDF (https://arxiv.org/pdf/2606.21649)项目页面 (https://clare-nie.github.io/EvoEmbedding/)GitHub14 (https://github.com/MiG-NJU/EvoEmbedding)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.21649)

在您的智能体中获取此论文:

hf papers read 2606\.21649

没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型6

MiG-NJU/EvoEmbedding-4B 特征提取 • 5B • 更新于约 4 小时前 • 50 • 4 (https://huggingface.co/MiG-NJU/EvoEmbedding-4B)

ClareNie/EvoEmbedding-0.8B 特征提取 • 1B • 更新于约 4 小时前 • 71 • 2 (https://huggingface.co/ClareNie/EvoEmbedding-0.8B)

ClareNie/EvoEmbedding-4B 特征提取 • 5B • 更新于约 4 小时前 • 127 (https://huggingface.co/ClareNie/EvoEmbedding-4B)

ClareNie/EvoEmbedding-2B 特征提取 • 3B • 更新于约 4 小时前 • 54 (https://huggingface.co/ClareNie/EvoEmbedding-2B)

浏览引用此论文的 6 个模型 (https://huggingface.co/models?other=arxiv:2606.21649)## 引用此论文的数据集1

MiG-NJU/EvoTrain-180K 查看器 • 更新于约 1 小时前 • 184k • 35 • 1 (https://huggingface.co/datasets/MiG-NJU/EvoTrain-180K)

引用此论文的 Space0

没有 Space 链接此论文

请在 Space 的 README.md 中引用 arxiv.org/abs/2606.21649，以便从此页面链接。

包含此论文的收藏0

没有收藏包含此论文

请将此论文添加到收藏 (https://huggingface.co/new-collection) 中，以从此页面链接。

相似文章

Q-RAG：通过基于价值的 Embedder 训练实现长上下文多步检索

Hugging Face Daily Papers

Q-RAG 引入了一种基于强化学习的 Embedder 模型微调方法，以实现高效的多步检索，并在长达 10M token 的长上下文基准测试中取得了最先进的结果。该方法为微调小型 LLM 以处理复杂的多步搜索任务提供了一种资源高效的替代方案。

EvoArena：追踪记忆演化以实现动态环境中鲁棒的LLM智能体

Hugging Face Daily Papers

EvoArena引入了一个基准测试，用于评估LLM智能体在动态环境中的表现，该环境在终端、软件和社交领域具有渐进式更新；同时EvoMem提出了一种基于补丁的记忆范式，记录结构化的演化；实验表明，当前智能体在EvoArena上仅达到39.6%的准确率，而EvoMem在该基准测试上平均提升1.5%，并在GAIA和LoCoMo上也有所改进。