训练基于Transformer的国际象棋模型以模仿人类下棋（包括思考时间）[P]

我训练了一组基于Transformer的深度学习国际象棋模型，使其像人类一样下棋（灵感来源于MAIA和Grandmaster Chess Without Search）。每个100分的等级分区间（从约800到2500+）都有一个单独的模型。我首先在8xH100集群上从头训练了一个中等强度的模型，然后在本地5090 GPU上对其他等级分范围的模型进行了微调。总训练数据量接近一年的Lichess数据，约10亿局对局。每个等级分区间实际上包含3个模型：一个着法模型、一个思考时间模型和一个白胜/和棋/黑胜模型。尽管模型很小（仅900万参数！），着法模型的准确率优于MAIA-2，与MAIA-3大致持平（参见[此处](https://github.com/thomasj02/1e4_ai/blob/master/experiments/maia2_benchmark/RESULTS.md)的MAIA-2对比）。据我所知，这是唯一一次尝试在象棋中训练思考时间，因此我没有基准可以与之比较。可能是由于网络规模的原因，在高等级分下模型的表现并不尽如人意。它们能看到短战术模式，但无法进行深层次计算——也许更大的模型会有所帮助。着法和胜率模型考虑了玩家的等级分和时钟时间。例如，在极端时间压力下，即使对手较弱，强得多的玩家胜率也会更低。模型在时间压力下也会出现更多失误。数据流水线通过nanobind使用C++实现，然后使用Pytorch进行训练。这部分是我花费最多时间的地方。预先打乱数据集，然后在训练时顺序读取打乱的数据集，使得GPU利用率保持较高。否则，大量时间会花费在I/O上，而GPU则空闲。欢迎就等级分条件化、时钟模型或数据流水线提出问题。代码（包括训练代码和模型权重）位于[https://github.com/thomasj02/1e4_ai/](https://github.com/thomasj02/1e4_ai/)。演示位于[https://1e4.ai/](https://1e4.ai/)，但所有前端代码也在仓库中，如果您想自行托管的话。