标签
讨论了一个常见问题：AI代理在开发中表现良好，但在真实用户表述中失败，并询问开发者如何缩小这一差距。
作者称赞GLM-5.2（一个MIT开源权重模型）在人类评估基准中表现出色，声称其能与Claude等最佳闭源模型相媲美。
DiffusionGemma 的内部测试显示，在实际工作负载下，H100 与 A100 GPU 之间存在显著的性能差异；H100 在并发下的扩展性更好，且效率因工作负载类型而异，这引发了对基准测试可靠性的质疑。
一位社区成员认为，尽管取得了令人瞩目的进展，但在复杂的代理任务上，本地开源模型仍然远远落后于前沿闭源模型，并警告不要过度吹嘘替代的说法。
本文讨论了AI基准测试高分与实际真实表现之间日益扩大的差距，重点强调了诸如一致性、延迟和上下文处理等问题。