@ItsmeAjayKV:快速更新:我在3090上试用了Ornith-1.0-35B-Q5_K_M,感受复杂。好的方面:速度确实很快。我测…
摘要
用户在一张RTX 3090上测试了Ornith-1.0-35B,发现其推理速度较快(提示处理1560 tok/s,生成约78 tok/s),但在Three.js任务上的编码表现始终不如Qwen 3.6,即使多次尝试也是如此。
查看缓存全文
缓存时间: 2026/06/28 01:54
快速更新:
我在我的 3090 上试用了 Ornith-1.0-35B-Q5_K_M,感受复杂。
优点:速度确实快。测得提示处理(25.8K 上下文)约 1560 tok/s,生成约 78 tok/s,明显比我的设备上的 Qwen 3.6 27B 和 35B MoE 模型都快。
意外之处:在我测试的几个 Three.js 编码评估中,Ornith 要么直接失败,要么生成的结果明显不如 Qwen 3.6。
我附上了一个并排录制的视频,展示其中两个评估在四个模型上的表现,方便您自行比较输出。(等我腾出更多时间后,会再附上更多内容。)
一点说明:对于 Ornith,在必要时我提供了最多 2-3 次尝试,因为它首次尝试并未能在任何任务上产生可用的结果。而其他每个模型展示的都是单次尝试的结果。我没有包含需要超过 3 次尝试的情况。
我会继续测试,排除我这边的问题。目前正在下载 Diff Quant 版本,准备在分享更完整的报告之前,用同样的评估重新跑一遍。
相似文章
RTX 3090 本地基准测试 - Qwen3.6 27b 对比 Ornith
用户在RTX 3090上使用inspect-ai运行本地基准测试,比较Qwen3.6 27b、Gemma4 26B和Ornith1.0 35B。结果显示Qwen在知识和编码方面领先,而Ornith在接地性和召回方面具有竞争力。
@malikwas1f: Ornith-1.0-35B:一个Qwen3.6-35B-A3B的编码微调版本,在真实编码上略优于基础模型(aider 15/30 vs 13)——完整262K…
宣布Ornith-1.0-35B,一个Qwen3.6-35B-A3B的编码微调版本,在aider基准测试上略优于基础模型。同时推广用于在RTX 3090上运行LLM的club-3090仓库。
@DogukanUrker: Ornith-1.5-9B在单张RTX 3060上使用Q5量化:200k上下文约52 token/s,预填充约1700 token/s。占用11.8GB(共12GB),零CPU卸载。
这篇文章详细介绍了在RTX 3060上运行Ornith-1.5-9B AI模型,使用200k上下文,通过高级量化技术实现高速推理。
@TeksEdge:经过一天的使用,测试 Orinth-1.0-35B 与 Qwen3.6-35B 的表现如何。凭经验来说,它的表现与……
一位用户报告称,Ornith-1.0-35B 在性能上与 Qwen3.6-35B 相当,但在规划和长任务执行方面更胜一筹,同时开发者宣布开源专门用于代理编码的 Ornith-1.0 系列 LLM。
@ItsmeAjayKV: 3090 更新:现在使用 Qwen 3.6-35b-a3b MoE (q6_k_xl)。首次突破 90 t/s,尚未启用 MTP,预填充速度…
用户报告使用 llama.cpp 在 RTX 3090 上运行 Qwen 3.6-35b-a3b MoE 模型,实现了超过 90 tokens/s 的推理速度,预填充速度超过 1000 t/s,表明在消费级硬件上本地部署大型语言模型是可行的。