real-world-performance

DiffusionGemma 的内部测试显示，在实际工作负载下，H100 与 A100 GPU 之间存在显著的性能差异；H100 在并发下的扩展性更好，且效率因工作负载类型而异，这引发了对基准测试可靠性的质疑。

一位社区成员认为，尽管取得了令人瞩目的进展，但在复杂的代理任务上，本地开源模型仍然远远落后于前沿闭源模型，并警告不要过度吹嘘替代的说法。

本文讨论了AI基准测试高分与实际真实表现之间日益扩大的差距，重点强调了诸如一致性、延迟和上下文处理等问题。