@pochenai: 受 @percyliang 的 CS336 启发，我构建了一个用于 LLM 推理的静态性能模型——无动态批处理/分块，j…

X AI KOLs Following 工具
llm-inference performance-modeling gpu-computing speculative-decoding quantization open-source benchmarks

摘要

受 CS336 启发，一个用于 LLM 推理的静态性能模型提供了 VRAM、time-to-first-token 和吞吐量的分析界限，涵盖多种配置，并针对公开基准进行校准。

受 @percyliang 的 CS336 启发，我构建了一个用于 LLM 推理的静态性能模型——无动态批处理/分块，只有清晰的分析界限。 选择 模型 × GPU × 批大小 × 序列长度 × 并行度(DP/TP/EP/PP) → VRAM 检查 + TTFT + TPOT + 预填充/解码分解 + 吞吐量 vs 批大小。 涵盖 5 种 KV 缓存变体 (GQA/MLA/SSM/滑动窗口/线性注意力)、推测解码、多种量化精度。 针对约 100 个公开基准 (TRT-LLM, Splitwise, MLPerf, Koyeb…) 进行校准。 演示：…https://llm-inference-calculator-delta.vercel.app 仓库：https://github.com/pochenai/llm-inference-calculator…
查看原文
查看缓存全文

缓存时间: 2026/08/30 00:02

受@percyliang的CS336课程启发，我为LLM推理构建了一个静态性能模型——无需动态批处理/分块，仅提供清晰的分析边界。

选择 模型 × GPU × 批大小 × 序列长度 × 并行策略(DP/TP/EP/PP) → 显存检查 + TTFT + TPOT + 预填充/解码分解 + 吞吐量与批大小关系

涵盖5种KV缓存变体（GQA/MLA/SSM/滑动窗口/线性注意力）、推测解码、多种量化精度。

基于约100个公开基准测试（TRT-LLM、Splitwise、MLPerf、Koyeb…）进行校准。

演示链接：…https://llm-inference-calculator-delta.vercel.app
代码仓库：https://github.com/pochenai/llm-inference-calculator…

相似文章

@polynoamial: https://x.com/polynoamial/status/2064210146558136827

X AI KOLs Following

本文认为，LLM基准测试性能越来越依赖于测试时的计算量，而当前的评估方法在控制推理预算时无法捕捉到能力的提升。它主张绘制性能与token数、成本或时间的关系图，并讨论了对安全评估的影响。