eTPS 网站计划 – 简单排行榜 + 您将实际看到的内容
摘要
作者介绍了effectiveTPS的网站计划,这是一款使用新的'eTPS'指标(有效TPS)以及原始速度和延迟来比较本地AI模型的工具。其目标是提供一个简单的排行榜,突出展示有用的输出质量,而非原始营销数字。
继上一篇文章之后,这是effectiveTPS第一个版本的样子。**核心显示(v1):**
- 清晰的表格,比较流行的本地模型
- Raw TPS(每个人展示的营销数字)
- eTPS(新指标,实际衡量真实对话中的有用输出)
- 首次令牌输出时间(等待开始回复的时长)
- 效率指数 = (eTPS ÷ Raw TPS) × 100 — 数值越高越好
**示例排行榜(早期测试数据):**
| 模型 | Raw TPS | eTPS | 首次令牌输出时间 | 效率指数 |
|--------------------|---------|--------|---------------------|---------------------|
| Llama 3.1 70B | 45.2 | 38.7 | 1.4s | **86** |
| Qwen2.5-32B | 68.4 | 52.1 | 0.8s | **76** |
| Gemma 2 27B | 71.3 | 44.6 | 0.6s | **63** |
我通过自己构建的结构化多轮分析框架运行这些测试,以评估复杂的工作流程。这就是eTPS压力测试的方式——不仅仅是单轮基准测试,而是真正的往返对话。高级模式(切换)稍后将添加延迟百分位数、每质量成本和一致性评分。对于v1,目标是保持非常简单且立即可用,即使您对AI不深入了解。整个要点是穿透噪音,展示哪些模型实际上提供了有用的工作,而不仅仅是原始速度。您认为第一版应该添加(或删除)什么?您希望哪些指标放在显眼位置?**总结:** 简单的排行榜,包含Raw TPS、eTPS、首次令牌输出时间和清晰的效率指数。高级功能在您需要之前保持隐藏。欢迎反馈。
相似文章
我们将3个公开的TTS排行榜合并为一个包含110个模型的综合排名
一个新的综合排名将三个公开的TTS排行榜合并为一个统一的排名,涵盖110个模型和46个提供商,每周更新并采用固定方法。
@Taskade:推出 TSK-Bench——我们的 AI 任务排行榜。我们在构建应用、连接智能体和运行自动化任务上测试了顶级 AI……
Taskade 推出 TSK-Bench,一个 AI 任务排行榜,评估顶级模型在构建应用、连接智能体和运行自动化任务上的表现,即将支持自带密钥功能。
我构建了一个实时排名系统,涵盖所有AI代理和基础模型(开源)
一位开发者推出了AgentTape,这是一个实时排名网站,汇聚来自多个来源(GitHub、Hugging Face、OpenRouter等)的数据,对公开的AI代理和基础模型进行评分和比较,旨在提供超越基准测试的更全面评估。
@ryaneshea: 今天我发布了 AI IQ —— 前沿 AI 模型,按照人类智商量表进行评分。摒弃无尽的排行榜表格,AI IQ 展示了:• 模型在智商正态分布曲线上的位置 • 前沿智商随时间的变化 • 模型在智商和情商方面的对比 • 实践中获取智能的成本。包括 GPT-5.5、Claude Opus 4.7、Gemini 3.1、Grok 4.3、Kimi K2.6、Qwen 3.6、DeepSeek V4、Muse Spark 等。链接在首评中。好奇哪张图表最让你惊讶。
作者推出了“AI IQ”,这是一款新工具,按人类智商量表对前沿 AI 模型进行评分,提供模型性能、智能成本以及情商对比的可视化图表,而非传统的排行榜表格。
如果你在构建本地语音代理,Hugging Face 的 Open TTS 排行榜值得关注
Hugging Face 的 Open TTS 排行榜不仅比较 TTS 模型,还对推理实现进行基准测试,涵盖流式性能(TTFA)、推理速度、语音质量(WER/CER、说话人相似度)以及 GPU/CPU 结果——对构建本地语音代理的开发者非常有价值。