标签
作者修订了编码代理评估的成功标准，从要求三次完美的88/88运行改为每个案例必须在三次运行中至少通过两次的标准，以减少随机性影响并提高稳定性。
本文批判了Transformer中标准的注意力度量方法，揭示了选择保留或丢弃汇入令牌可能会反转结论，并提出了使用组合数据分析来分离汇入和内容注意力组件，以实现更准确的解释。
本文识别了“评估陷阱”，即人工智能基准测试无意中通过缩小“进步”的定义来稳定主导范式，并引入了Epistematics，一种元评估方法论，以确保评估标准能够区分真实能力与代理行为。
25岁播客主Dwarkesh Patel访谈了OpenAI、Anthropic、DeepMind等顶级AI实验室的核心人物，包括Karpathy、Hassabis、Dario Amodei、Ilya Sutskever等。他公开了自己用AI辅助的「一周准备」工作流：让AI列出必读资料、追踪未懂之处、用AI绘制全景图、自己动手实现代码。Time杂志2024年将其列入「AI 100人」。