粪便让人类获胜
摘要
一篇论文启发了一个名为TuringDuel的游戏,其中人类和AI在一项单词图灵测试中竞争,揭示人类以47–38的胜绩领先AI,而'poop'一词未尝败绩。
最近发现一篇论文,提出了一个“最小图灵测试”的问题:基本上,只需输入一个单词,能否证明自己是人类?我一头扎进这个兔子洞,让AI帮助构建了TuringDuel,其中人类与AI比拼谁更像人类,由AI担任裁判。好消息是,在这项单词图灵测试中,人类以47–38领先AI。你没猜错,“Poop”作为选择从未败北。游戏规则很简单:你和AI各选一个单词,然后另一个AI随机查看两者并猜测哪个来自人类。如果它猜中你的,你得分;如果它骗过裁判,机器人得分。先得四分者胜。在TuringDuel完成85场比赛后,结果如下:人类以47–38领先(55.3%)。在单个计分回合中,差距更小:249–237,人类胜率51.2%。最强劲的常规对手:Mistral Medium,赢得20场比赛中的13场(65%)。Gemini 2.5 Flash紧随其后,11场中赢7场。人类在对战Claude 3 Haiku时最轻松,14次中击败它11次。裁判们有怪癖。Gemini 2.5 Flash在有效判断中正确识别人类的比例为61%;Claude Haiku 4.5则为46%。在所有裁判中,尽管顺序随机,第二个展示的单词被选中的时间占61%。人类使用了更多样的词汇:在487次提交中,人类使用了418个不同单词,而AI仅为208个。人类最爱“cat”;机器人则常用“chair”、“coffee”和“mug”。关键细节:“poop”在3/3回合中获胜。“Human”在5次中赢1次。“Word”四战全败。显然,宣称自己是人类并不太有说服力。我现在公开了思考过程,让游戏更有趣一些。(游戏免费,无广告,无需付费,token由我提供。)你会选择哪个单词来证明自己是人类?
相似文章
这款下棋AI成为Stratego新王者
来自MIT、卡内基梅隆大学、纽约大学和斯坦福大学的研究人员开发出一款AI,它以压倒性优势击败了顶级人类Stratego玩家,采用的高效训练方法比DeepMind等先前方案便宜得多。该系统发表于《自然》杂志,可推广到其他策略类游戏,有望辅助现实世界中不确定性下的决策,如商业谈判和网络安全。
研究警告:AI已能比人类更出色地通过图灵测试
一项发表在PNAS上的新研究表明,诸如GPT-4.5等先进LLM已能通过图灵测试,且参与者认为它们比真人更具人性,这一结果促使学界重新审视该测试的衡量标准。
一个AI在一项测试中得了1753分,而'人类专家'是1000分。这就是为什么我不完全信任这个数字
文章批评了一个病毒式传播的AI基准测试,该测试声称Grok 4.6得分为1753,而人类专家为1000。文章指出,该测试基于AI输出之间的偏好比较,而非客观正确性,因此外观精美的工作可能会获胜,但未必真正更好。
OpenAI Five击败Dota 2世界冠军
OpenAI Five成为首个击败世界冠军电竞职业选手的AI,在OpenAI Five总决赛中连胜OG两局。这一突破是通过前所未有的训练计算规模扩展实现的,而非新型算法,团队计划停用OpenAI Five同时宣布将其部署用于公开网络对战。
牛津研究发现,AI说服力超越世界冠军辩手
一项预先注册的牛津研究发现,在多组实验中,AI系统稳定地胜过世界冠军辩手和人类说服专家,其优势源于速度和数量而非修辞技巧。这一结果对筹款、传播以及说服性AI的治理具有重要影响。