标签
OpenBMB已经开源了MiniCPM5-2B，一个2B参数的AI模型，针对资源受限硬件优化，用于推理、编码和工具使用，在其尺寸类别中达到最先进的性能，并展示了有效的本地部署能力。
LTX-2.5是一款支持本地部署、具备微调功能，并改进了生成功能和编辑功能的开源视频模型，强调构建者对AI技术栈的所有权。
NVIDIA Cosmos3，一个64B参数的图像生成模型，发布了INT4量化版本，支持在CUDA和MLX上本地部署，代码和权重可用，并在Apple Silicon上展示了性能。
CosineAI 宣布了 Lumen Sovereign 的早期版本，这是一个在英国训练的 AI 模型，正在本地 Apple Mac Studio 上运行，并计划扩展到一个 1 万亿参数的模型。
该文章详细介绍了一款名为"Sunny Narrator"的开源工具，该工具利用基于Tesla P40 GPU的双模型AI流水线翻译小说，并通过优化的llama-server配置与MTP投机解码技术，实现了每秒40-70个token的生成速度。
本文详细测试了Ling-3.0-tiny模型在Apple M5芯片Mac上的本地部署与性能，展示了在无独立显卡时以47 token/s的速度运行7.9B参数模型的可行性。
本文分享了三个Qwen3.8-27B模型的无审查量化版本，用于本地部署，作者亲自测试并警告谨慎使用。
本文详细介绍了Qwen3.8 27B模型的本地部署指南，覆盖Mac和Nvidia显卡的两条路线，并提供实测性能数据，帮助用户在消费级硬件上运行该模型。
成功在双机 DGX spark GB10 系统上本地部署了 DeepSeek-V4-Flash-0731 模型。
Qwen3.8-27B 是一款新型人工智能模型，强调实际运行时间而非词元生成速度，能在配备32GB显存的消费级硬件上本地部署，并提供卓越的智能表现。
Qwen3.8-27B 无审查版本发布，专为 Mac M 芯片优化，支持本地部署，保留多模态能力和安全研究功能，提供简化安装步骤。
Qwen3.8-27B 模型被展示为具有高性价比的本地部署AI模型，通过成本分析显示其在性能和成本上显著优于云端模型如Opus，强调了本地推理的经济效益。
本文对比了NVIDIA DGX Spark和魔改RTX 4090在本地部署Qwen3.8-27B和Ling-3.0-flash模型的性能，提供了基准测试数据和购买建议。
本地部署大模型受限于硬件吞吐量，即使显卡性能满载，一天仅能处理约8.64M Token，不足以支持Agent自动化集群或大规模数据分析，因此规模化应用仍需依赖云端API。
文章分析了前沿AI模型与能在消费级硬件上运行的等效模型之间时间差不断缩小的趋势，基于近期发展预测，约300亿参数的'Mythos'模型最早可能在2027年1月实现本地部署。
一个团队开发了一个平台，允许用户微调和部署小型语言模型，并提供无限API推理，利用他们自己的GPU进行高效训练和推理。
阿里巴巴发布了Qwen3.8-27B，这是一个用于本地部署的27B开放权重多模态模型，在SWE-bench Pro和OSWorld等编程基准测试中表现出前沿级别的性能，超越了一些更大的模型。
Qwen3.8-27B 是一个拥有 270 亿参数、开放权重的 AI 模型，性能匹敌 Opus 4.6 Max，并且可以在笔记本电脑上本地运行。
NVIDIA 发布 Nemotron 3.5 Lightning 30B 模型，总参数30B，激活仅3B，支持100万token上下文，可商用，本地部署友好，输出速度最高提升4倍。
发现 DeepSeek V4 flash 在 vLLM 本地部署中的 KV 缓存失效 Bug：切换 Session 后前缀缓存命中率为 0，导致重新 Prefill，耗时从约 1 秒暴涨到约 100 秒。根因疑为 vLLM 重用 free queue 块时调用 _maybe_evict_cached_block() 删除了缓存索引。