Paper page - ChLogic: Evaluating Robustness of Logical Reasoning in Chinese Expressions

来源: https://huggingface.co/papers/2606.17905

摘要

ChLogic 基准揭示了大型语言模型在英文和中文逻辑推理之间持续存在的性能差距，这种差距受到表面实现差异和翻译伪影的影响。

大型语言模型 (https://huggingface.co/papers?q=Large%20language%20models) 在标准逻辑推理基准 (https://huggingface.co/papers?q=logical%20reasoning%20benchmarks) 上的表现越来越好，但这种能力在英文之外是否依然稳健尚不清楚。我们引入了 ChLogic，这是一个英中对齐的基准，用于测试当相同的潜在逻辑结构以英文和多种中文表面实现 (https://huggingface.co/papers?q=surface%20realization) 表达时，模型是否能保持逻辑推理性能。该基准基于形式逻辑模板构建，包含三个数据集：(i) 通用对齐集，源自跨九个模板家族的 60 个通用命题；(ii) 困难对齐集，源自 40 个困难问题；以及 (iii) 纯中文集，涵盖 15 种语言特有现象类型。每个对齐条目将一个英文参考表达式与五个中文实现配对。在 Qwen3、Ministral 和 GLM 模型上的实验揭示了持续的英中性能差距。从标准中文回译 (https://huggingface.co/papers?q=Back-translation) 为英文通常能在通用对齐集上提升性能，但在困难对齐集上产生混合效果，Qwen3-32B 和 GLM-5.1 在翻译后表现更差。这些结果表明，中文表面实现 (https://huggingface.co/papers?q=surface%20realization)、翻译伪影以及模型特定行为共同影响了多语言逻辑推理。总体而言，ChLogic 为多语言推理 (https://huggingface.co/papers?q=multilingual%20reasoning) 的稳健性提供了一个有用的压力测试。

查看 arXiv 页面 (https://arxiv.org/abs/2606.17905)查看 PDF (https://arxiv.org/pdf/2606.17905)GitHub (https://github.com/0328zpx/ChLogic)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.17905)

在您的 agent 中获取此论文:

hf papers read 2606.17905

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2606.17905 以从此页面链接。

引用此论文的数据集0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.17905 以从此页面链接。

引用此论文的 Spaces0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2606.17905 以从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。