标签
Overspill 是一个为 FreeToken 设计的实验性磁盘层，它允许通过内存映射和缓存优化在有限的消费级硬件上运行像 DeepSeek-V4-Flash 这样的大型 MoE 模型，在一个配置有 12 GB GPU 和 64 GB RAM 的系统上实现大约 3 token/秒的速度。
请求LLaMA维护者实现一个名为'GPU热专家重载'的功能，以提高具有中等活跃参数的MOE模型的解码速度，使其在像3090这样的GPU上更易于本地使用。
Deltafin是一款开源工具，使得能够在像MacBook Pro这样的消费级硬件上运行完整的Kimi K3 2.8T参数模型，通过从固态硬盘流式传输数据，实现约每秒1个token的性能。
该文章详细介绍了一款名为"Sunny Narrator"的开源工具，该工具利用基于Tesla P40 GPU的双模型AI流水线翻译小说，并通过优化的llama-server配置与MTP投机解码技术，实现了每秒40-70个token的生成速度。
号召大家参与llama.cpp的开放PR，优化CPU、内存、磁盘和混合推理，提升性能，争取年底前完成。
本文是一份关于大语言模型部署的详细指南，涵盖了延迟、吞吐、显存等关键指标，并以实际案例说明如何优化性能和选择硬件。
FreeToken is an open-source local inference engine designed to run large Mixture-of-Experts (MoE) models on consumer-grade computers, offering significantly faster performance than alternatives like Ollama with easy installation and native GUI.
FreeToken是一个开源推理框架，由UC Berkeley、MIT和UT Austin的研究者开发，专门用于在个人电脑上运行超大MoE模型，通过动态分配GPU、CPU和内存资源实现高效推理。
本论文探讨了微调MoE模型使其用希腊语推理的过程，发现准确率指标存在噪声，而监督微调（SFT）和强化学习（RL）提升了特定语言的推理能力并修复了行为缺陷，并提出了评估工具。
一位用户分享了在家庭实验室运行本地LLM的7天统计数据，指出MoE模型主导了其RTX 3090，其中Inkling-small和Ling-3.0-flash表现出色，并计划开源其仪表盘。
bigedgeonmoe开源代码库的创建者使得在移动设备和消费级PC上运行大规模MoE模型（高达120B参数）成为可能，在中端手机上实现了Qwen 35B模型每秒6个token的速度。
USAF（超稀疏自适应微调）是一种新方法，允许在消费级GPU（包括AMD硬件）上微调MoE模型，仅需12GB VRAM。与无法做到的LoRA/QLoRA不同，USAF只训练最重要的稀疏权重和路由器。
一份关于在消费级硬件上优化本地LLM推理的全面指南，涵盖llama.cpp、vLLM和LM Studio等工具，并提供关于内存层次结构、层放置和常见故障模式的实用建议。
Tensordyne推出了Napier，一种在硅片上使用对数数学的推理系统，声称对MoE和推理模型有巨大的效率提升，并采用风冷机架。
分析AI模型尺寸趋势，指出100-120B参数范围存在空白，近期发布主要聚焦于较小（25-35B）或较大（200B+）的模型。
用户评测表明，使用llama.cpp运行大型MoE模型时，Windows 11与Linux之间并无显著速度差异，打破了一个常见迷思。在多GPU配置下，使用Qwen 3.5 122B、397B和MiniMax 2.7等模型进行测试，提示处理和令牌生成速度几乎相同。
Apple Silicon Mac 提供大内存池运行大模型，但 token 生成较慢，最适合活跃参数量低的大型 MoE 模型。