面向指令遵循信息检索的双视角训练
摘要
一种基于极性反转的双视角数据合成方法,在 FollowIR 基准上将指令遵循检索性能提升 45%。
查看缓存全文
缓存时间: 2026/04/22 06:17
论文页面 - 面向指令遵循的信息检索的双视图训练
来源: https://huggingface.co/papers/2604.18845
摘要
一种基于极性反转的双视图数据合成方法,通过训练模型区分主题相关与指令合规的文档,增强检索系统遵循指令的能力。
指令遵循信息检索(IF-IR)研究不仅要找到与查询相关的文档,还必须遵守显式用户约束(如必需属性、排除项或输出偏好)的检索系统。然而,大多数检索器主要训练用于语义相关性,往往无法区分“符合主题”与“满足指令”的文档。我们提出一种基于极性反转的双视图数据合成策略:给定一个查询、一份在指令下相关的文档,以及一份匹配查询但违反指令的难负例,我们提示 LLM 生成一条互补指令,使得两份文档的相关性标签互换。通过在互补指令下呈现同一文档对(其相关性标签被反转),训练信号迫使检索器通过指令重新审视同一候选集,而非依赖固定的主题线索。在 3.05 亿参数的编码器上,我们的方法在 FollowIR 基准上提升 45%,超越同等或更大规模的通用嵌入模型。在相同数据预算的头对头对比中,我们进一步表明数据多样性与指令监督互为补充:前者保持通用检索质量,后者提升指令敏感度。这些结果凸显了针对性数据合成对构建既广泛可用又指令感知的检索系统的价值。
查看 arXiv 页面 (https://arxiv.org/abs/2604.18845)
查看 PDF (https://arxiv.org/pdf/2604.18845)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2604.18845)
在智能体中获取本文:
hf papers read 2604.18845
尚未安装最新 CLI?
curl -LsSf https://hf.co/cli/install.sh | bash
引用该论文的模型 0
暂无模型链接到本文
在模型 README.md 中引用 arxiv.org/abs/2604.18845 即可在此页面显示。
引用该论文的数据集 0
暂无数据集链接到本文
在数据集 README.md 中引用 arxiv.org/abs/2604.18845 即可在此页面显示。
引用该论文的 Spaces 0
暂无 Space 链接到本文
在 Space README.md 中引用 arxiv.org/abs/2604.18845 即可在此页面显示。
包含该论文的收藏 1
相似文章
利用自监督指南提升视觉指令调优
本文提出通过将自监督任务表达为自然语言指令,增强多模态语言模型中的视觉指令调优,从而在不增加架构或标注的情况下提升以视觉为中心的推理能力。通过将经典的自监督预文本任务(如旋转预测、颜色匹配和跨视角对应)重构为图像-指令-响应对,该方法仅需在训练数据中注入3%-10%的视觉化指令,便能在多个基准测试中实现一致的性能提升。
VCIFBench:评估视频理解中的复杂指令遵循能力
VCIFBench 是一个用于评估视频理解中复杂指令遵循能力的新基准,包含 306 条带有内容、格式、风格和结构约束的测试指令,以及一个 DPO 偏好数据集。针对 10 个 MLLM 的实验表明,同时满足多项约束仍具挑战性,而基于该基准数据进行 DPO 训练可提升指令遵循性能。
遗憾预训练:连接先验与后验视角以增强知识接地
本文介绍了遗憾预训练,一种基于自监督的框架,采用双视角架构将未来上下文融入因果语言模型训练中,在无需增加参数的情况下,将下游任务性能提升高达18个百分点。
HyperEyes:面向并行多模态搜索代理的双粒度效率感知强化学习
HyperEyes 是一种并行多模态搜索代理,它利用双粒度强化学习来优化推理效率,与现有代理相比,在显著减少工具调用轮次的同时实现了更高的准确率。
基于强化学习引导的软融合检索方法,用于缺失模态下的鲁棒多模态模仿学习
RL4IL 提出了一种强化学习引导的检索方法,利用对冻结演示库的软融合来处理推理时机器人模仿学习中的传感器模态缺失问题,在完全摄像头丢失的情况下实现了高成功率。