标签
用户寻求使用DFlash和MTP投机解码技术优化双3090上的令牌生成速度,使用llama.cpp和beellama,分享了他们的配置和命令。
一位用户分享了他们搭建双3090 GPU系统以本地运行Qwen 3.6 27b模型的经验,在切换到Ubuntu并使用带有自定义补丁的club-3090工具后,实现了超过100 tokens/秒的速度。他们对本地AI的未来感到兴奋。