修复Ornith1.5 35B A3B的MTP头。+3% TPS -33% 实际时间

Reddit r/LocalLLaMA 模型

摘要

一位用户修复了Ornith1.5 35B A3B模型的MTP头,使任务的实际时间减少了33%,显著加快了本地HAM无线电应用的速度。

我喜欢Ornith 35B本地模型,1.0版本一直在为我运行我的HAM无线电设备。我有一个hackRF接收器和一个5瓦的Quansheng便携设备,都通过电脑无头运行。我试用了新的Ornith1.5构建版本,它比1.0更快、更准确。我阅读了讨论未经训练的MTP头的帖子,所以我在一个无法使用的量化版本上找到了一个训练好的MTP头,将其嫁接到Ornith1.5的APEX重新量化版本上,制作了一个性能怪兽,比Ornith1.0快2.5倍,比发布的Ornith1.5版本快33%。我难以置信这个模型有多好,以及它在执行相同任务时有多快。而且当我要求它在授权频率上打开麦克风时,它不会试图教训我。疯狂的是,每秒令牌数只增加了4。从平均每秒60个增加到64个。但完成相同任务的时间减少了三分之一,在我的无线电压力测试中,平均从21秒降至14秒。https://ollama.com/slickwillies/ornith15-35b-a3b-apex-mtp-fixed 测试方法和结果:https://github.com/h00nigan/Ornith-testing-results
查看原文

相似文章