标签
Unsloth 使得在Kaggle上免费微调31B参数的多模态模型成为可能，采用4位量化，本地运行仅需22-24GB VRAM。
文章质疑了Alpie Core 32B（一个针对低显存和智能体工作流优化的4位推理编码模型）的供应商基准测试的有效性，指出缺乏独立的基准测试复现。
ControlNet作者敏神开源了FramePack视频生成模型，仅需6GB显存即可运行13B模型，生成1分钟30帧视频，RTX 4090上每帧1.5秒，并提供Windows一键包。
AirLLM 是一个完全开源的工具，通过分层推理技术（逐层加载并立即释放显存），使得 70B 大语言模型可在仅 4GB 显存的 GPU 上运行，无需量化、蒸馏或剪枝，并已支持 Llama3.1 405B 在 8GB 显存上运行。
作者分享了在8GB RTX 3070 Ti上使用llama.cpp运行Qwen3.6-35B-A3B MoE模型，实现高达262k上下文、30+tps的详细调优技巧，并指出从Windows切换到Ubuntu Server后速度提升了25%。
一位开发者分享了从零开始训练一个70亿参数开源大语言模型的进展，该模型基于DeepSeek架构并针对低显存进行了优化，目标是推动AI开发的民主化，并最终超越大型专有模型。
作者分享了一套在 8GB RTX 4060 上跑 35B-MoE Qwen3.6 的可用 llama-server 配置，重点提示因内部推理无限制而耗尽 max_tokens 的陷阱，并给出用 per-request thinking_budget_tokens 的解决方案。