标签
K2-Horizon AI 模型系列的量化版本现已可在 Hugging Face 上下载，支持从 0.9B 到 36B 参数的多种尺寸。但 llama.cpp 的支持仍在进行中，需要使用分支版本。
本文比较了在 RTX 3060 上对 Qwen 3.8 27B 模型进行 GSQ 和 ByteShape 量化的结果，揭示了尽管 ByteShape 量化声称与原始模型高度相似，但其性能却表现不佳。
Dynamic Quantiser 是一款开源工具，使用户能够创建自定义和高质量的 LLM GGUF 文件动态量化，通过最小化余弦偏差来提高准确性，相比标准量化更优。
这篇文章介绍了一个名为 focus-llama 的 llama.cpp 分支，它实现了最近一篇论文中的声明式注意力（Declarative Attention），允许模型在推理过程中声明所需的上下文块，以优化 KV 缓存使用并减少解码时间。
用户将单 Nvidia GTX-1080Ti 升级为搭配 AMD Radeon MI50 的双 GPU 配置，在运行本地大型语言模型时实现了显著的速度提升，且添加的 GPU 成本低于 $140。
作者在有限的显存下比较了 Qwen3.8 27B IQ3_XXS 和 Bonsai Ternary PQ2 的性能，发现 Qwen 更快且使用的 token 更少，而 Bonsai 文件更小但生成时间更长。
用户已在异构 GPU 环境中为 Qwen3.8 模型实现了 nvfp4 KV 缓存支持，使用自定义 CUDA 内核和量化来优化性能。
作者优化了 Qwen3.8-Flash-Next 模型，使其能在 64GB Mac 上运行，使用专家流式处理和其他技术，通过发布检查点和 llama.cpp 叉版本达到约 27 tok/s 的速度。
Ternary-Bonsai-2-27B是一个将270亿参数AI模型压缩到2位三元格式的模型，在llama.cpp上运行，支持CUDA和Metal，有助于实现轻量级的设备端AI部署。
本文介绍了一项多小时的调查，旨在使用llama.cpp加速Qwen MoE模型的本地推理，包括实验结果、补丁、基准测试和复现指南，其中一些工作负载显示出显著的性能提升。
llama.cpp 的一个非官方分支为混合专家模型引入了持久化的专家池，优化以减少在 16GB AMD gfx906 GPU 上通过 PCIe 的专家重新拷贝，从而提升大上下文长度的解码吞吐量。
ByteShape 发布了完整的 ShapeLearn 量化版 Qwen 3.8 27B 模型，采用 GGUF 格式，基准测试显示质量-速度前沿有所改进，并支持投机解码。
一个针对双AMD 7900 XTX GPU优化的llama.cpp GitHub分支，显著提升了Qwen 3.8 Q8模型的解码速度至82 tokens/秒。
Bonsai 2 27B是一个压缩的AI模型，能在更小9倍的占用空间中实现近无损性能，并提供使用Prism的llama.cpp分支的设置指南。
在 dotAI 大会上关于 llama.cpp 投机解码方法 (MTP, dflash, dspark) 的演讲回放即将发布。
发布 Ternary-Bonsai-2-27B-gguf，一款 27B 参数的语言模型，采用三元权重实现极端压缩（5.9 GB），同时保留 98.2% 的 FP16 精度性能，并针对笔记本电脑和单 GPU 的高效推理进行优化。
此拉取请求在 llama.cpp 中为 MTP draft 启用 CUDA 图，以提升 GPU 上 LLM 推理的性能。
本文提供了设置代理系统的指南，强调了在选择AI模型之前，像Linux、Tailscale和特定引擎等基础工具的重要性。它概述了有效本地和云部署的八个关键组件和习惯。
本文介绍了一个针对NVIDIA Ampere架构GPU（如3090）优化的llama.cpp自定义分支，能够在大上下文窗口下为27B参数模型实现每秒超过90个令牌的速度，使得本地推理速度快于API速度。
K2 Horizon 7B 是一款紧凑型AI模型，实现了令人印象深刻的基准测试分数，可与更大模型媲美，并在编译llama.cpp for CUDA等任务的初步测试中表现出稳定的性能。