我使用RTX Pro 6000 (96GB)对Laguna-S-2.1和Qwen3.5-122B进行了我的私有智能体评估。这是我所测试过的最快的100B+模型,且工具调用能力最佳,但在压力下会编造事实。

Reddit r/LocalLLaMA 模型

摘要

在RTX Pro 6000上对Laguna-S-2.1与Qwen3.5-122B的评估显示,它是所测试过的最快的100B+模型,工具调用能力最佳,但在压力下容易编造事实。

暂无内容
查看原文

相似文章

我花了 3 周在新的低延迟 SGLang/vLLM 配方上测试本地 Qwen3.8:DFlash2 快 2.8 倍。构建:RadixArk + Inferact 27B NVFP4、27B BF16、orcarouter 27B Uncensored、Flash-Next NVFP4

Reddit r/LocalLLaMA

作者在单张 RTX PRO 6000 上对三款 Qwen3.8 27B 检查点进行 10 项统一测试,Flash-Next 赢下多数任务,而 DFlash2 投机解码将 27B 的推理速度从 75 提升到 210 tok/s(2.8 倍),并对比了 SGLang 与 vLLM 在不同量化导出下的性能差异。

M5 Ultra 实测:Qwen3.8 Flash Next 对决 Laguna S 2.1

Reddit r/LocalLLaMA

在同一台 Mac Studio M5 Ultra 256GB 上,使用相同框架对比了 Qwen3.8-Flash-Next(182GB oQ8e)与 Laguna-S-2.1 GGUF 在最高 262K 上下文下的表现。Qwen 在预填充阶段保持约 4,200 tok/s 的线性速度,解码稳定;而 Laguna 则呈超线性退化;质量方面双方 4/4 打平,但答题风格迥异。