@withmartian：在 16 个最常用基准测试（TerminalBench、LiveCodeBench 等）中，我们比单一最佳大语言模型少产生了 46% 的错误……

X AI KOLs Following 新闻
llm-benchmarking error-reduction multi-model-routing ai-optimization frontier-analysis capability-frontier

摘要

一项研究表明，通过在 44 个大语言模型间分配请求，可在 16 个基准测试（如 TerminalBench 和 LiveCodeBench）上减少 46% 的错误，从而优化性能。

在 16 个最常用基准测试（TerminalBench、LiveCodeBench 等）中，我们比单一最佳大语言模型少产生了 46% 的错误。 以下是其可能性及每个模型在最优使用时所能达到的效果（大多数基准测试未能涵盖模型的大部分能力）👇 交互式网站：https://aifrontier.withmartian.com 学术论文：https://arxiv.org/abs/2606.26836
查看原文
查看缓存全文

缓存时间: 2026/09/03 20:10

我们在16个最常用的基准测试（TerminalBench、LiveCodeBench等）中，错误率比单一最佳大语言模型降低了46%。

以下是实现方式，以及每个模型在最佳使用状态下能达到的效果（所有基准测试都未能充分体现模型的大部分能力）👇

互动网站：https://aifrontier.withmartian.com 学术论文：https://arxiv.org/abs/2606.26836

AI前沿 - Martian

来源：https://aifrontier.withmartian.com/ 标准基准测试仅对单个模型进行单次评估，系统性地低估了AI的实际能力。

通过将请求路由至44个大语言模型，我们构建了能力边界——在每个成本层级上可达到的最佳性能。

这种方法在匹配的尖端成本和质量下，分别实现了错误率的降低或成本的节省。

相似文章

我在 MacBook Air M5 上对 21 款本地大模型进行了代码质量与速度的性能评测

Reddit r/LocalLLaMA

一位开发者在 MacBook Air M5 上使用 HumanEval+ 对 21 款本地大模型进行了基准测试，发现 Qwen 3.6 35B-A3B (MoE) 以 89.6% 的得分和 16.9 tok/s 的速度位居榜首，而 Qwen 2.5 Coder 7B 仅需 4.5 GB 内存即可达到 84.2% 的性能，拥有最佳的内存性价比。值得注意的是，Gemma 4 系列的表现远低于预期（31B 版本仅得 31.1%），这可能是受 Q4_K_M 量化策略的影响。