我不信任基准测试。我们都见过这种老套路：

新模型在基准测试中击败所有人。人们开始吹捧它。然后大家都开始使用它。结果发现这模型就是个垃圾。

下面这个东西看起来挺有意思。

它不关注模型是否得到正确答案（像基准测试那样），而是评估模型得出答案的过程：

• 它是否使用了正确的工具？ • 它是否发现并纠正了自己的错误？ • 它是否考虑了竞争性的假设？ • 它在过程中是否保持一致？ • 它能否将主张追溯到实际证据？ • 它是否理解自身结论的局限性？

对此我持乐观态度。

https://traces.apodex.com

TRACES——探索性人工智能新范式

来源：https://traces.apodex.com/

TRACES是一种全新的探索性人工智能范式。其构建目的并非衡量AI回答已知问题的能力，而是评估它能在未知领域前沿推进多远。

Apodex (@Apodex_AI)： 大多数AI基准测试测试的是检索能力——模型能否找到已知答案？然而，科学中最困难的问题需要发现，一个系统能否获得前所未有的答案？

认识一下TRACES 🧭——全球首个衡量探索性人工智能的基准测试：能够通过…