解耦多语言 P(True) 自我评估中的问题语言、回答语言与验证器语言

arXiv cs.CL 2026/10/26 04:00 论文

multilingual self-evaluation confidence-calibration language-models benchmarking p-true

摘要

该论文通过六语言析因设计，独立考察问题语言、回答语言与验证指令语言对多语言 P(True) 自评估的影响，发现三者分别影响准确率、区分度与校准，且未经验证的评判者会严重扭曲模型表现差距。

arXiv:2610.32144v1 Announce Type: new Abstract: When a language model is asked whether its own answer is correct, three languages are involved: that of the question, that requested for the answer, and that of the verifier instruction asking for the judgment. Multilingual confidence evaluations seldom separate the three. We vary them independently in a six-language factorial design with ten open-weight models (3B-14B) on LSQA, MMMLU and TriviaQA, holding each answer fixed across verifier languages and measuring confidence with a first-token P(True) probe. The three languages move different parts of the evaluation: which of them governs accuracy depends on the benchmark, matching the response language to the question or verifier language sharpens discrimination but not calibration, and the verifier language alone shifts calibration error by up to 0.04 without changing accuracy. The scorer matters as well: an unvalidated judge would have shrunk the MMMLU English-Hindi accuracy gap from 0.198 to 0.038. Multilingual confidence results, model rankings included, are therefore comparable only when all three languages are reported and the scorer is validated.

查看原文

相似文章

评估 AI 智能体的最佳模式有哪些？

Reddit r/AI_Agents

一位从业者分享了其用于问答/编程智能体的确定性评估框架——固定语料库、注入的缺陷、隐藏测试，以及 pass^k/token 指标——并询问社区：其他人如何平衡冒烟测试与完整基准测试，使用大语言模型作为评判者是否能带来价值，以及 Promptfoo 或 DeepEval 等工具能否减轻维护负担。

nvidia/NVIDIA-NemotronLabs-RE-USE · Hugging Face

Reddit r/LocalLLaMA

NVIDIA 发布了 NemotronLabs RE-USE，这是一款拥有 960 万参数的多语言通用语音增强模型，能够在各种音质劣化条件和采样率下恢复语音质量，性能超越规模更大的开源 USE 模型，同时可用于商业用途。

@FinanceYF5: 很多关于 LLM 的“常识”，保质期可能只有 15 个月。斯坦福研究者用 20 个新模型，重新测试了 50 项被广泛引用的结论： 44% 已失效，34% 明显减弱，只有 16% 仍然成立。编造引用、幻觉和刻板印象正在减少，但迎合用户和…

X AI KOLs Following

斯坦福研究者用 20 个新模型重新测试了 50 项被广泛引用的 LLM 结论，发现 44% 已失效、34% 明显减弱、仅 16% 仍成立，表明 LLM 研究结论的‘保质期’可能只有约 15 个月。

现代国际象棋引擎在1996年的Pentium上能否击败Kasparov？

Hacker News Top

Nicholas Carlini 证明，将现代 Stockfish 移植到1996年时代的200 MHz Pentium Pro 上运行，可达到约3300 Elo，远超 Kasparov 的约2800 Elo。这表明自1996年以来1335 Elo 的涨幅中，大部分来自更好的编程（+720），而非更快的硬件——也就是说，Deep Blue 的定制超级计算机从来都不是必需的。

开源5G RAN平台：性能与能力的双重视角