标签
USAF（超稀疏自适应微调）是一种新方法，允许在消费级GPU（包括AMD硬件）上微调MoE模型，仅需12GB VRAM。与无法做到的LoRA/QLoRA不同，USAF只训练最重要的稀疏权重和路由器。
一份关于在消费级硬件上优化本地LLM推理的全面指南，涵盖llama.cpp、vLLM和LM Studio等工具，并提供关于内存层次结构、层放置和常见故障模式的实用建议。
Tensordyne推出了Napier，一种在硅片上使用对数数学的推理系统，声称对MoE和推理模型有巨大的效率提升，并采用风冷机架。
分析AI模型尺寸趋势，指出100-120B参数范围存在空白，近期发布主要聚焦于较小（25-35B）或较大（200B+）的模型。
用户评测表明，使用llama.cpp运行大型MoE模型时，Windows 11与Linux之间并无显著速度差异，打破了一个常见迷思。在多GPU配置下，使用Qwen 3.5 122B、397B和MiniMax 2.7等模型进行测试，提示处理和令牌生成速度几乎相同。
Apple Silicon Mac 提供大内存池运行大模型，但 token 生成较慢，最适合活跃参数量低的大型 MoE 模型。