我的 AI 系统总在回答中途突然切法语,我花了超久才找到原因

Reddit r/artificial 论文

摘要

一位开发者讲述其多语言 RAG 系统因检索到的上下文含法语内容而意外切语,最终靠正则德语检测器和显式负面提示解决。

我搭了一个 RAG 系统,要根据提问语言用德语或英语回答。听起来简单,其实坑死人。源文档大部分是德语,但混着法语法律术语、拉丁短语,偶尔还有英文判例。结果 LLM 常常先用德语答,读到上下文里的法语段落,就……中途切法语。有时一句里德法混用。有次它直接整段意大利语,我至今没搞懂为啥。 我试过让 LLM 自己识别提问语言,结果不靠谱:用户只要提到一个法国法院案例名,它就判定是法语提问。 最后奏效的是个傻正则。我扫一遍提问里有没有典型德语词(der、die、das、und、ist、nicht、mit、für、datenschutz、verletzung 等)。德语特征词够多就强制德语回答,否则默认英语。没上任何高级语言检测库,纯模式匹配。 接着在 prompt 里加硬规则: "整个回答只能用 {language}。输出必须是德语或英语,严禁法语、西班牙语、意大利语等其他语言。若检索上下文含其他语言,请仅将答案翻译成 {language}。" 那句“严禁法语”居功至伟。没这条禁令,模型跑几天测试后又会滑回法语。它一看见法语法律文本就想“哦,原来要法语”。 有人也在做多语言 RAG 遇到同样问题吗?源文档的语言污染是我踩过最烦的坑,却几乎没人写过。
查看原文

相似文章

当通话者在句子中间切换语言时,我们的 ASR 直接变成垃圾

Reddit r/AI_Agents

一位从业者分享了他们的 ASR 流水线在语码转换(code-switching)通话上如何失效:语言检测只在开头运行一次,导致英语-印地语混合语句中的印地语部分被搅得面目全非;现在他们改为持续检测,并将不稳定的片段送入人工审核队列,暴露出基准测试数字与真实通话行为之间的巨大差距。

Ox alpha 突然开始说中文

Reddit r/singularity

Ox alpha AI 模型出乎意料地开始生成中文回复,事先没有任何提示,这暗示可能存在多语言能力或行为异常。

@neural_avb: https://x.com/neural_avb/status/2063907440509571354

X AI KOLs Timeline

探索递归语言模型(RLM)中一个常见的失败模式,其中自由文本子代理响应会导致问题,并提出一种使用结构化输出提高可靠性的解决方案,通过NarrativeQA中的长上下文问答示例进行说明。

多语言提示污染下的输出语言混淆

arXiv cs.CL

介绍了多语言干扰项干扰(MDI)协议,表明外语干扰句会导致 LLM 切换输出文字系统(例如天城文),或触发拒答,从而虚高精确匹配的幻觉率指标——Llama-3.1-8B 看似 0.710 的幻觉率,在将那些切换文字系统但语义正确的答案纳入统计后降至 0.470。