Paper page - Context Training with Active Information Seeking

Source: https://huggingface.co/papers/2605.13050

摘要

通过搜索和浏览器工具实现主动信息获取的上下文优化方法，在保持数据效率和鲁棒性的同时，在多个领域取得了卓越性能。

大多数现有的largue language models (https://huggingface.co/papers?q=large%20language%20models)（LLMs）在部署后调整成本高昂，尤其是在任务需要最新信息或特定领域知识时。近期研究表明，通过操控和优化上下文，可以在不更新权重的情况下将LLMs适配到downstream tasks (https://huggingface.co/papers?q=downstream%20tasks)。然而，现有方法大多为闭环系统，仅依赖模型的内在知识。本文中，我们为这些上下文优化器配备了Wikipedia搜索和浏览器工具，用于active information seeking (https://huggingface.co/papers?q=active%20information%20seeking)。我们发现，将这些工具直接添加到标准的sequential context optimization (https://huggingface.co/papers?q=sequential%20context%20optimization)流程中，实际上可能使性能低于基线。然而，当与一种维护并剪枝多个candidate contexts (https://huggingface.co/papers?q=candidate%20contexts)的search-based training (https://huggingface.co/papers?q=search-based%20training)流程结合时，active information seeking (https://huggingface.co/papers?q=active%20information%20seeking)能够带来持续且显著的提升。我们在多个领域验证了这些改进，包括低资源翻译（Flores+）、健康场景（HealthBench）以及推理密集型任务（LiveCodeBench和Humanity’s Last Exam）。此外，我们的方法具有数据高效性、对不同超参数的鲁棒性，并能生成有效且可在不同模型间良好泛化的文本上下文。

View arXiv page (https://arxiv.org/abs/2605.13050)View PDF (https://arxiv.org/pdf/2605.13050)Add to collection (https://huggingface.co/login?next=%2Fpapers%2F2605.13050)

在您的代理中获取此论文：

hf papers read 2605.13050

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型关联此论文

请在模型README.md中引用arxiv.org/abs/2605.13050以从此页面链接。

引用此论文的数据集0

没有数据集关联此论文

请在数据集README.md中引用arxiv.org/abs/2605.13050以从此页面链接。

引用此论文的Space0

没有Space关联此论文

请在Space README.md中引用arxiv.org/abs/2605.13050以从此页面链接。

包含此论文的合集0

没有合集包含此论文

请将此论文添加到一个collection (https://huggingface.co/new-collection)以从此页面链接。