# 会下棋并解释其走法的语言模型

Hugging Face Daily Papers 论文

摘要

该论文提出了 **Queen**,一个拥有 4B 参数的国际象棋语言模型——它在达到特级大师水平对弈的同时,还能解释自己的走法。该模型采用一个静默专家式(silent-expert)的棋局编码器,通过交叉注意力(cross-attention)与经过指令微调的语言模型相融合,并引入了一种迭代式的 Bellman 风格知识蒸馏循环,最终提升了 900 多个 Elo 分数。

# Queen:一个可解释的棋艺语言模型 现代国际象棋引擎是沉默的专家:它们以超人水平对弈,却不提供任何关于其走法的解释。另一方面,语言模型(LM)能够生成听起来颇具说服力的解释,但其较弱的棋力限制了这些解释的实用价值。我们提出 **Queen**——一个拥有 4B 参数的国际象棋语言模型,它能够在保持特级大师水平对弈能力的同时,解释自身的走法与计划。 我们提出的新颖框架通过互补的组件实现了领域特定的推理能力:一个编码器-解码器架构,以及一种迭代蒸馏算法。该架构通过交叉注意力机制,将一个沉默的专家级国际象棋编码器与一个经过指令微调的语言模型整合在一起;我们通过问答课程(question-answering curriculum)对其进行训练,以从编码器的表示中提取国际象棋概念。在这一经过领域适配的模型基础上,我们利用贝尔曼更新(Bellman update)的自然语言类比来迭代改进其解释能力:模型会分析其最优候选着法之后的局面,并将这些分析整合为对当前局面的解释,然后将其蒸馏回模型之中。 经过七轮迭代,我们的模型 Elo 分数提升了超过 900 分(从 1782 提升至 2697),在棋力与谜题解答准确率两个维度上均大幅超越所有前沿模型,而其参数量却少了三个数量级。此外,基于语言模型的评估显示,我们的解释表达流畅,在连贯性方面已接近 GPT-5.6-Sol(high)的水平。我们这一架构与训练流程的通用性表明,可以将其作为一种方法论,将语言模型应用于存在沉默专家编码器的领域,例如博弈、机器人学以及计算机使用(computer use)等领域。
查看原文
查看缓存全文

缓存时间: 2026/10/05 16:49

论文页面 - 能下国际象棋并解释自己走法的语言模型

来源:https://huggingface.co/papers/2610.03695

摘要

现代国际象棋引擎是沉默的专家:它们能达到超人类水平,但不会为自己的着法提供解释。另一方面,语言模型(LM)可以生成听起来合理的解释,但它们较弱的对弈水平限制了这些解释的实用价值。我们提出了 Queen,一个 4B 参数的国际象棋语言模型,能够在达到典型特级大师水平的同时解释自己的着法与计划。我们的新颖框架通过互补组件实现领域特定推理:一个编码器-解码器架构和一个迭代蒸馏算法。该架构通过交叉注意力将沉默专家国际象棋编码器与指令调优的语言模型结合在一起,我们通过问答课程(question-answering curriculum)对其进行训练,以从编码器的表征中提取国际象棋概念。在这一领域适配模型的基础上,我们利用贝尔曼更新的自然语言类比来迭代地改进其解释:模型分析其顶级候选着法之后的局面,并将它们整合成对当前局面的解释,然后将该解释蒸馏回模型中。经过七次迭代,我们的模型 Elo 分数提升了 900 多分(从 1782 升至 2697),尽管参数量少了三个数量级,却在对弈强度和残局题准确率上大幅超越了所有前沿模型。此外,基于语言模型的评估表明,我们的解释十分流畅,在连贯性上接近 GPT-5.6-Sol(high)。我们架构和训练流程的通用性表明了一个将语言模型应用于存在沉默专家编码器领域的可行方案,例如游戏、机器人学和计算机操作等领域。

查看 arXiv 页面 (https://arxiv.org/abs/2610.03695) 查看 PDF (https://arxiv.org/pdf/2610.03695) 项目页面 (https://queen-project.github.io/) GitHub1 (https://github.com/queen-project/queen) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.03695)

在你的 agent 中获取这篇论文:

hf papers read 2610.03695

没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.03695,即可从此页面链接到它。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.03695,即可从此页面链接到它。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.03695,即可从此页面链接到它。

收录此论文的合集 0

暂无合集收录此论文

将此论文添加到一个合集 (https://huggingface.co/new-collection),即可从此页面链接到它。

相似文章

普林斯顿研究人员训练了一个 4B 参数的 LLM,国际象棋水平达到 2700 Elo(停止训练时仍无任何见顶迹象),并且能够准确解释自己的走法。他们表示该训练技术也可应用于其他游戏、机器人和计算机使用

Reddit r/artificial

普林斯顿的研究人员利用 AlphaZero 算法的自然语言类比,训练了一个 40 亿参数的 LLM,使其国际象棋水平达到 2700 Elo。通过架构与算法上的创新,该模型还能准确解释自己的每一步走法。作者表示,这项技术可推广至其他游戏、机器人以及计算机操作等领域。

探索语言与非语言代理之间的协作

Hugging Face Daily Papers

本文介绍了LLAMIA-Bench,一个用于语言模型和非语言代理之间协作棋类任务的基准,并提出了潜在状态内化方法以超越基于文本的表述,其中14B模型匹配或超越了如GPT-5.1等前沿模型。

以国际象棋对大语言模型提示词优化进行基准测试

arXiv cs.AI

研究人员提出一个国际象棋谜题基准数据集(包含 1,118 道 Lichess 题目),用于对冻结参数的大语言模型进行自动提示词优化;他们在八个模型上评估了六种 APO 算法,采用成本低廉、结果确定且可重复的评分方式,总成本约为 800 美元。