标签
一篇清华大学与代尔夫特理工大学的论文提出了一种快速的经验贝叶斯 Beta-Bernoulli 预测器,用于稀疏 AI 基准评测。该预测器的程序大小仅为 7.6 KiB,预测耗时为微秒级,且相较于常数基线,Brier 评分降低了 24.6%。
有用户基于线性回归预测,DeepSeek V4 Flash 0731 在 Artificial Analysis 上的评分将达到 57±1,与 Kimi K3 水平相当。该帖对其价格下的模型性能表示兴奋。
MS AI Frontiers团队推出了BenchPress,该方法利用矩阵补全技术,仅通过五个探针即可预测LLM基准测试得分,表明得分矩阵实际上为秩2。
这篇研究论文表明,前沿AI模型在133个基准测试上的得分近似于秩为2,即仅两个潜在因素就解释了超过90%的方差。作者提出了BenchPress,一种在logit空间中进行矩阵补全的方法,仅需少数几个基准测试就能预测模型的完整得分表,从而显著降低评估成本。