Claude与GPT的隐藏推理被解码，这很有趣

昨天一篇论文展示了一个漏洞，可以从所有Claude和GPT模型中获取100%的推理token：Stealing Reasoning Traces from Proprietary LLM APIs。你可以去看看，他们发布了大量推理示例。这对开源非常相关，原因如下：这里有基准测试的提示；给定AIME基准测试中的一个问题，Claude的推理显示它熟记这道题并知道答案；所以，我们看到它们性能超越开源模型的图表——可能被夸大了。- 当你使用开源模型时，你看到你的模型推理很奇怪；比如一些没有意义的奇怪词汇或过度思考。事实证明这非常正常，即使是前沿模型也几乎总是如此。- 现在人们在谈论，中国一直在利用这个漏洞来蒸馏前沿模型，而现在这个漏洞被堵住了，蒸馏将会放缓。走着瞧吧。所以，是的，我相信开源并不像从推理token中看起来那样落后，没有什么秘密配方，只是数据、计算和工程。