iq-models

#iq-models

[草案 - 开放PR] AVX2：通过 bartowski1182 加速 IQ 模型的大批量提示处理 · 拉取请求 #27402 · ggml-org/llama.cpp

Reddit r/LocalLLaMA ↗ · 2026-08-20 缓存

本草案拉取请求引入了 AVX2 优化，旨在加速 llama.cpp 中 IQ 模型的大批量提示处理。llama.cpp 是一款用于高效 LLM 推理的开源工具。

0 人收藏 0 人点赞