棉花糖 AI 基准测试

Reddit r/singularity 新闻
ai-benchmark visual-counting model-evaluation hallucination marshmallow-test

摘要

一项基准测试通过提示 AI 模型在图像中数棉花糖来评估它们，结果从 472 到 539 个不等。

我介绍棉花糖基准测试。我将一堆棉花糖倒在一个烤盘上单层铺开，并拍了一张照片。然后我向几个 AI 工具提供了以下提示：“给我准确计算这张图像中可观察到的单个棉花糖数量。棉花糖是单层铺开且全部可见的。不要猜测或估计；你必须在计数前直接观察每个棉花糖，以防止假设和幻觉。” 响应：Gemini 3.7 Flash Extended: 539 Claude Opus 5.0 extra: 501 GPT-5.6-Sol xhigh: 500 Grok 4.5 expert: 472 Kimi k3 high: 477
查看原文

相似文章

新基准测试发布

Reddit r/singularity

一个新基准测试已发布，可能用于评估AI或软件性能。

最终基准测试

Reddit r/singularity

本文提出了一项权威基准测试，旨在评估和比较AI模型或系统，并为未来的评估确立标准。