标签
Ling-3.0 (BailingMoE3) 现已在 llama.cpp 中获得官方支持，基准测试显示在 Intel Arc B580 上可实现高效本地推理，包括在 12GB 显存中处理 128K 上下文。
本文介绍了使用llama.cpp通过RPC在5070 Ti和1080 Ti GPU上运行AI模型的性能结果和优化技巧，重点讨论了预填充与token生成速度之间的权衡。
一位用户仅用两个提示，使用在llama.cpp上以Q4量化的Qwen 3.8 AI模型，并配合双RTX 3060 GPU，创建了一个简单游戏，展示了在内存限制下令人印象深刻的AI辅助编程。
本文详细描述了一项实验，该实验在24GB GPU上使用多token预测和自定义优化，实现了Qwen3.8-27B在256K上下文下每秒50个token的推理速度。
本文分享了针对16GB显存、73k上下文窗口优化的llama.cpp配置方案，用于运行Qwen 3.8 27B模型，并通过实际软件工程项目展示了该配置在智能编码工作流中的性能表现。
Koboldcpp v1.119 已发布，这是一款易于使用的 AI 文本生成软件，支持 GGML 和 GGUF 模型，功能包括图像生成、语音转文本和多模态能力。
这是一个使用 IQ4_XS 量化的 Qwen3.8-27B AI模型的量化版本，针对16GB RAM系统进行了优化，并提供使用各种工具如 llama.cpp 和 Ollama 的本地部署指南。
一位用户演示了如何使用llama-server运行Qwen 3.8 27b模型，生成一个水族馆面板故障的HTML模拟，包括详细的token使用情况和模型参数。
这是Qwen3.8-27B无审查模型的GGUF转换版本，一个abliterated版本（移除了安全对齐），用于研究目的，运行在llama.cpp上，支持多种量化方案和视觉功能。
一个展示个人本地AI推理构建的案例，采用Intel Arc B140 GPU和定制硬件，在Ubuntu上运行带SYCL后端的llama.cpp。
一款开源的Windows应用程序，用于管理llama.cpp运行时，提供可视化界面以同时运行多个AI模型，并具备监控和控制功能。
本文介绍了Qwen3.8-27B AI模型的量化GGUF版本发布，该版本针对有限显存硬件上的高效本地推理进行了优化。
本文介绍了将AI9Stars G9v3-39A5B混合专家模型非官方量化至GGUF格式的过程，以及为支持BF16与Q4_K_M变体本地推理而创建的llama.cpp专用分支。
llama.cpp server build 10423 新增了一个实验性的 --tools-runtime 选项，让 webui 可以在无根沙箱容器（例如 podman:alpine 或 docker:alpine）中运行工具的 shell 命令，并自动下载和实例化镜像。
一个量化的GGUF版本，基于Qwen3.8-27B模型，具有减少的拒绝行为，保留了多token预测，并提供多种量化选项以供llama.cpp使用。
作者在125k个自然语言/命令对上微调了Qwen2.5-Coder-1.5B，以生成shell命令，在笔记本电脑CPU上本地运行约1秒，并发布了权重和代码。
一个实验，使用 llama.cpp 在双消费级 GPU（RTX 5090 + 5060 Ti）上本地运行 Qwen3.8-2.4T-A95B MoE 模型，启用 MTP 推测解码后达到约 0.8 tok/s。
用户报告在 Radeon 7600 上使用 llama.cpp 和 ROCm 运行 Qwen 3.6 35B A3B-Q8_0 gguf，在显存超频后达到每秒 21 tokens，并提到一个与显示相关的性能 bug。
Unsloth 宣布 Qwen3.8 现在可以在本地运行，通过 Dynamic 1-bit 量化将 2.4T 参数模型从 4.9TB 缩小到 397GB，并提供了指南和 GGUF 版本。
用户使用 llama.cpp 和量化（quants）在本地测试了 Nemotron 3.5 Lightning，发现速度和智能体工具调用表现良好，但就模型大小而言，编码输出低于预期。