修复Ornith1.5 35B A3B的MTP头。+3% TPS -33% 实际时间
摘要
一位用户修复了Ornith1.5 35B A3B模型的MTP头,使任务的实际时间减少了33%,显著加快了本地HAM无线电应用的速度。
我喜欢Ornith 35B本地模型,1.0版本一直在为我运行我的HAM无线电设备。我有一个hackRF接收器和一个5瓦的Quansheng便携设备,都通过电脑无头运行。我试用了新的Ornith1.5构建版本,它比1.0更快、更准确。我阅读了讨论未经训练的MTP头的帖子,所以我在一个无法使用的量化版本上找到了一个训练好的MTP头,将其嫁接到Ornith1.5的APEX重新量化版本上,制作了一个性能怪兽,比Ornith1.0快2.5倍,比发布的Ornith1.5版本快33%。我难以置信这个模型有多好,以及它在执行相同任务时有多快。而且当我要求它在授权频率上打开麦克风时,它不会试图教训我。疯狂的是,每秒令牌数只增加了4。从平均每秒60个增加到64个。但完成相同任务的时间减少了三分之一,在我的无线电压力测试中,平均从21秒降至14秒。https://ollama.com/slickwillies/ornith15-35b-a3b-apex-mtp-fixed 测试方法和结果:https://github.com/h00nigan/Ornith-testing-results
相似文章
如果你在好奇为什么Ornith 1.5 35B A3B MTP版本如此缓慢,原因在这里
Ornith 1.5 35B A3B模型的MTP张量似乎未被初始化,导致推测解码性能不佳。通过从Qwen3.6-35B-A3B移植训练好的头部,速度提升了29%。
我将MTP引入本地SoTA智能编码模型Ornith 35B FP8 E4M3
将MTP推测解码引入采用FP8精度的Ornith 35B编码模型,实现了约18%的推断速度提升,且额外VRAM占用极少。
Ornith-1.0-35B GGUF 更新:原生 MTP 推测解码嫁接 + 完整服务/TTFT/长上下文数据(llama.cpp, tp=1)
Ornith-1.0-35B GGUF 模型更新引入了原生 MTP 推测解码嫁接,可在单 GPU 上实现更快推理,解码速度提升约 1.3-1.35 倍,同时保持几乎相同的 token 分布。提供了多个量化版本的吞吐量、TTFT 和长上下文性能的基准数据。
@Italianclownz: 已将 Qwen 3.6 35b a3b 转换为 ROCmfp4,运行飞快。使用了 mtp 版本,因为此 ROCmfp4 也可以融合 MTP 的优势…
将 Qwen 3.6 35b a3b 模型转换为 ROCmfp4 格式,利用 MTP 优势提升 AMD 硬件上的性能。
@malikwas1f: Ornith-1.0-35B:一个Qwen3.6-35B-A3B的编码微调版本,在真实编码上略优于基础模型(aider 15/30 vs 13)——完整262K…
宣布Ornith-1.0-35B,一个Qwen3.6-35B-A3B的编码微调版本,在aider基准测试上略优于基础模型。同时推广用于在RTX 3090上运行LLM的club-3090仓库。