GPT-6 Astra在ZeroBench(一个极其困难的视觉基准测试)上取得了巨大飞跃,在所有三个指标上超越了人类基线。

Reddit r/singularity 模型

摘要

GPT-6 Astra在ZeroBench这个极其困难的视觉基准测试上取得了巨大飞跃,在所有三个指标上超越了人类基线。

pass@5: 如果5次尝试中至少有一次正确,则得分。 pass^5: 只有所有5次尝试都正确时才得分(这是一个可靠性指标)。 "pass@1": 不是真正的单次尝试pass@1,而是5次尝试的平均分数。 https://zerobench.github.io/
查看原文

相似文章

GPT-6 Astra 基准测试

Reddit r/singularity

本文介绍了OpenAI的GPT-6模型的基准测试,使用Astra基准测试系统评估其性能。

GPT-6 Astra

Hacker News Top

OpenAI 推出了 GPT-6 Astra,这是一个最先进的 AI 模型,在多个基准测试中获得高分,并在计算机使用、对齐和专业任务方面表现出色,即将向用户推出。