论文页面 - 语码转换信息检索：基准、分析与当前检索器的局限

来源：https://huggingface.co/papers/2604.17632

摘要

语码转换为信息检索系统带来严峻挑战，暴露出性能瓶颈与嵌入空间分歧，而现有的多语言方法无法完全解决。

语码转换（https://huggingface.co/papers?q=Code-switching）是全球交流中普遍存在的语言现象，但现代信息检索（https://huggingface.co/papers?q=information%20retrieval）系统仍主要面向单语场景设计与评估。为弥合这一关键脱节，我们开展了一项聚焦语码转换 IR 的整体研究。我们推出 CSR-L（https://huggingface.co/papers?q=CSR-L）（Code-Switching Retrieval benchmark-Lite），通过人工标注构建数据集，捕捉混合语言查询的真实自然性。在统计、稠密与后期交互三种范式上的评估显示，语码转换成为根本性能瓶颈，即便稳健的多语言模型（https://huggingface.co/papers?q=multilingual%20models）也显著失效。我们发现，失败源于纯文本与语码转换文本在嵌入空间（https://huggingface.co/papers?q=embedding%20space）中的巨大分歧。进一步扩展研究，我们提出 CS-MTEB（https://huggingface.co/papers?q=CS-MTEB），涵盖 11 项多样化任务的综合基准，观察到性能下降高达 27%。最后，我们证明词汇扩展（https://huggingface.co/papers?q=vocabulary%20expansion）等常规多语言技术不足以完全弥补这些缺陷。这些发现凸显当前系统的脆弱性，并将语码转换确立为未来 IR 优化的关键前沿。

查看 arXiv 页面（https://arxiv.org/abs/2604.17632）
查看 PDF（https://arxiv.org/pdf/2604.17632）
GitHub0（https://github.com/paddler2022/Code-Switching-Information-Retrieval）
添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2604.17632）

在智能体中获取该论文：

hf papers read 2604.17632

尚未安装最新 CLI？
curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无模型链接到本文

在模型 README.md 中引用 arxiv.org/abs/2604.17632，即可在此页面显示链接。

引用本文的数据集 0

暂无数据集链接到本文

在数据集 README.md 中引用 arxiv.org/abs/2604.17632，即可在此页面显示链接。

引用本文的 Spaces 0

暂无 Space 链接到本文

在 Space README.md 中引用 arxiv.org/abs/2604.17632，即可在此页面显示链接。

包含本文的收藏 0

暂无收藏包含本文

将本文添加到收藏（https://huggingface.co/new-collection），即可在此页面显示链接。