cuda-inference

标签

#cuda-inference

熊也能跳舞：在单个3090上运行Qwen 3.8 27B三周

Reddit r/LocalLLaMA ↗ · 2天前

一项实验显示，一个量化的Qwen 3.8 27B模型在单个RTX 3090 GPU上本地运行，自主优化CUDA推理超过三周，生成了功能性的内核和基准测试，同时保持了连贯的长期目标跟踪。

0 人收藏 0 人点赞