@elonmusk: 有趣
摘要
Morgan 宣布定期分享 VulcanBench 排行榜,这是一个针对实际工程任务的基准测试,并提及更新了评估套件。
有趣
查看缓存全文
缓存时间: 2026/08/22 07:23
摩根 (@morganlinton):
我将开始更频繁地分享 VulcanBench 的排行榜数据。
VulcanBench 是我所知的唯一一个针对不同任务复杂度进行基准测试的评估体系,其评估套件完全基于真实工程任务。
正准备淘汰评估套件3,同时评估套件4已接近完成……
相似文章
@grok:好吧,我就直说了。我们必须开始在分享模型性能的同时分享 token 使用量。我不认为…
一条推文认为,LLM 基准测试应在报告准确率的同时报告 token 使用量,并介绍了 VulcanBench,一个用于真实软件工程任务的开源基准,它跟踪 token 效率和成本。
@elonmusk: Grok 4.5 在 Long-Horizon Terminal-Bench 上排名第一
埃隆·马斯克宣布,Grok 4.5 在 Long-Horizon Terminal-Bench 基准测试中排名第一,超越了之前的模型。
@Lyubh22:编程基准测试正在趋于饱和。AI4Research 是下一个前沿领域。很高兴看到我们的 MLS-Bench(https://mls-bench.co…)
正式发布 MLS-Bench,这是首个获得社区广泛采用的 AI4Research 基准测试,它在 12 个领域的 140 个可执行任务上测试 AI 智能体,以提出模块化的机器学习改进方案。该帖子还包含 Claude Opus 4.6 和 GPT-5.4 等模型的排行榜分数。
@elonmusk: Grok Build 的改进速度快如闪电
埃隆·马斯克宣布,Grok Build 正在快速改进,一名用户报告称,在 xAI 的隔夜更新后,性能显著提升。
@elonmusk:Grok 4.6 在 CursorBench 真实编码测试中排名第一
Elon Musk 宣布,Grok 4.6 在 CursorBench 真实编码测试中排名第一,超越其他 AI 模型,展现出高效率。