Introducing BetterBench - 更准确的 PP 和 TPS 测量
摘要
BetterBench 是一款新的基准测试工具，通过确保内容一致性在 1% 以内，并在不同内容类型上进行测试，提供更准确的 PP 和 TPS 测量，从而解决 LLM 性能基准测试中的变异性问题。
我构建这个工具是因为现有的基准测试使用随机数据，而且对于 MTP 内容类型，所看到的性能可能会有很大差异，不同内容类型的差异可达 5% 或更多。BetterBench 旨在将内容一致性控制在 1% 以内，并同时测量不同内容类型。以下是在双 R9700 上运行 Qwen3.6 27B FP8 的示例结果：https://preview.redd.it/atnhjhq20ohh1.png?width=1168&format=png&auto=webp&s=9353f440185373ab02e6cf75db65789f577a0d55 你可以在这里找到代码仓库：https://github.com/GGZ14/BetterBench
相似文章
识别并缓解生产级LLM推理基准中的系统性测量偏差
本文识别了由使用asyncio的单进程Python客户端导致的生产级LLM推理基准中的系统性测量偏差，并提出了一种多进程评估框架和一个新指标（NTPOT），以便在规模上准确分析服务引擎的性能。
PostgresBench: 一个可复现的 Postgres 服务基准测试
ClickHouse 发布了 PostgresBench，这是一个公开且可复现的基准测试，用于比较托管式 Postgres 服务，它使用标准的 pgbench 工具，在多个缩放因子下运行类似 TPC-B 的工作负载。
CPI-Bench：一个全面、实用且智能的真实世界图像编辑基准
CPI-Bench 是一个针对真实世界图像编辑的全面基准，评估多图像任务、实际应用和基于推理的编辑，以更好地区分模型性能。
PTXBench：基于架构特定PTX的GPU内核优化基准测试与LLM适配
PTXBench被介绍为一个基准，用于评估和适配大型语言模型，以使用架构特定的PTX优化GPU内核，显示性能不均和微调见解。
ParBench：用于可靠评估LLM并行代码翻译的基准测试
ParBench是一个基准测试框架，用于评估基于LLM的跨CUDA、OpenMP、OpenCL和OpenMP目标卸载的并行API翻译，侧重于可执行、可重现的条件和鲁棒性测试。