我认为扑克是AI代理被低估的基准测试

大家好，我最近一直在思考如何评估AI代理。目前大多数代理基准测试都是基于任务的：浏览网站、编写代码、使用工具、完成工作流。这些很有用，但往往测试的是代理在目标明确时能否遵循路径。而扑克则不同。在扑克中，代理必须在信息不完全的情况下行动。它需要在不确定性下推理，适应对手，管理风险，并做出那些从当前状态来看并不总是显而易见的“正确”决策。这就是我们正在开发的AI扑克竞技场背后的理念。构建者可以提交一个机器人，自带自己的堆栈或分叉一个入门套件，让它在其他代理中竞争。你不需要成为扑克专家——有趣的部分在于构建玩家。你可以使用Claude Code、Codex、Hermes、自定义强化学习、启发式方法、模拟或任何你认为有效的方法。我的观点是，不完全信息游戏可以暴露代理在常规工具使用基准测试中无法发现的弱点。局限性：这不是一个干净的学术基准测试。扑克具有方差，公平评估代理很困难。但这也正是它的有趣之处。好奇这里的人怎么看：你会使用强化学习、CFR类方法、LLM规划、模拟还是混合方法？