我使用RTX Pro 6000 (96GB)对Laguna-S-2.1和Qwen3.5-122B进行了我的私有智能体评估。这是我所测试过的最快的100B+模型,且工具调用能力最佳,但在压力下会编造事实。
摘要
在RTX Pro 6000上对Laguna-S-2.1与Qwen3.5-122B的评估显示,它是所测试过的最快的100B+模型,工具调用能力最佳,但在压力下容易编造事实。
暂无内容
相似文章
我在 RTX 5090 上用同一真实架构写作任务实测 Qwen3.6-27B、Qwen3.6-35B-A3B、Qwen3.5-27B 与 Gemma 4
在 RTX 5090 上,让四款本地大模型——Qwen3.6-27B、Qwen3.6-35B、Qwen3.5-27B 与 Gemma 4——完成 2 万 token 架构写作任务,结果显示 Qwen3.6-27B 在清晰度、完整性与实用性上取得最佳综合平衡。
我花了 3 周在新的低延迟 SGLang/vLLM 配方上测试本地 Qwen3.8:DFlash2 快 2.8 倍。构建:RadixArk + Inferact 27B NVFP4、27B BF16、orcarouter 27B Uncensored、Flash-Next NVFP4
作者在单张 RTX PRO 6000 上对三款 Qwen3.8 27B 检查点进行 10 项统一测试,Flash-Next 赢下多数任务,而 DFlash2 投机解码将 27B 的推理速度从 75 提升到 210 tok/s(2.8 倍),并对比了 SGLang 与 vLLM 在不同量化导出下的性能差异。
@runsonai: https://x.com/runsonai/status/2079919970209681734
详细对比了新开源权重混合专家模型 Laguna-S-2.1 与 Qwen 3.6-35B-A3B,突出了Laguna更大的活跃参数数量和长期关注焦点使其在扩展任务中表现更优,尽管速度较慢。
M5 Ultra 实测:Qwen3.8 Flash Next 对决 Laguna S 2.1
在同一台 Mac Studio M5 Ultra 256GB 上,使用相同框架对比了 Qwen3.8-Flash-Next(182GB oQ8e)与 Laguna-S-2.1 GGUF 在最高 262K 上下文下的表现。Qwen 在预填充阶段保持约 4,200 tok/s 的线性速度,解码稳定;而 Laguna 则呈超线性退化;质量方面双方 4/4 打平,但答题风格迥异。
@RoundtableSpace: Qwen 3.8 27B 在本地 RTX 5090 上运行时,在个人基准测试中击败 Opus 4.8,速度高达每秒200个令牌,无需...
Qwen 3.8 27B 是一个拥有270亿参数的AI模型,在本地RTX 5090 GPU上运行时,在个人基准测试中超越Opus 4.8,速度高达每秒200个令牌,无需互联网或API访问。