performance-metrics

一篇博客文章，说明仅依赖平均值来评估性能提升可能会产生误导，通过使用合成延迟数据，展示了查看完整分布（通过百分位数、密度图和CDF）的重要性。

本文对PlanGPT（一种用于自动规划的大型语言模型）进行了补充评估，使用了规划成本和规划生成时间指标，并发现PlanGPT的表现并不优于贪婪搜索策略。

作者介绍了effectiveTPS的网站计划，这是一款使用新的'eTPS'指标（有效TPS）以及原始速度和延迟来比较本地AI模型的工具。其目标是提供一个简单的排行榜，突出展示有用的输出质量，而非原始营销数字。