标签
一位用户反馈，一款近期被热捧的推理引擎在运行 IQ3_S 量化模型时会退化成不断重复的「死循环」，而同一个模型在 llama.cpp 下运行则能给出连贯回答——这表明该新引擎在处理小参数量的量化开放权重模型时可能存在缺陷。
awesome-jev 的定期巡检新增 3 条条目（555 → 558）：llama.cpp 新增 System One 决策模型运行时支持、Databricks 推出 ai_decide AI Function 作为结构化决策 API，以及一个基于 Jev 官方文档的实际 RAG 测试案例。
llama.cpp PR #29818 在 llama-server 中新增了一个 /v1/systemone API 端点，支持 laya、julia-1、lev、openjev 和 kev 等模型，由 ngxson 提交。
Janus 是一个单文件 Go 二进制工具，通过 Vulkan 在 AMD/Intel/NVIDIA GPU 或 CPU 上运行 GGUF 模型，并提供 OpenAI 兼容 API，无需 Python、Docker 或 Ollama。
本文认为，针对特定模型和硬件优化的一次性专用推理引擎，其性能将超越如 llama.cpp 等通用引擎，并预测它们将成为 AI 推理领域的主流趋势。
作者提议通过剥离不必要的代码并使用AI自动化过程来为特定模型优化llama.cpp，目标是实现2倍以上的性能提升。
用户分享了在Mac M4Pro上运行Qwen3.8-Flash-Next模型的经验，强调通过量化获得更快的性能，并使用llama.cpp实现了131K的上下文大小。
作者分享了使用 Tesla P100 GPU 进行本地AI推理的经验，发现通过 llama.cpp 优化后，它们性价比高且性能出色，尽管最初得到了前沿模型的负面建议。
一项实验使用llama.cpp对Qwen模型中的特定过度思考令牌应用对数惩罚，从而在各种量化下提高了MATH-500基准的准确性，带来了显著的准确性提升和推理令牌的减少。
本文详细介绍了 llama.cpp 中的性能优化，这些优化使得提示查询草稿生成速度最高提升 42 倍，并将内存使用减少 2.6 倍，基于 Daniel Lemire 和 Martin Ankerl 的技术。
OrcaRouter 发布了 OrcaSAQ-2-Cyber-27B-Uncensored-GGUF，这是一款量化后的 27B 推理模型，能够将未经审查的 Qwen3.8-27B 从 54.7 GB 的 BF16 压缩至 15.7 GB，仅带来 +0.80% 的困惑度劣化、94.4% 的 Top-1 一致率，并支持 262K 上下文，可通过 llama.cpp、Ollama 和 LM Studio 在本地部署。
Mica v0.1 4B 是一个在真实 Minecraft 服务器上运行的 AI 模型，它在不生成令牌的情况下做出决策，并从空库存开始，在 23 步内成功制作了铁镐，每决策延迟为 90-150 毫秒。
作者将预训练的PLE n-gram记忆从Qwen3.8-Flash-Next转移到Qwen3.5-0.8B，在不微调骨干网络的情况下，验证困惑度降低了5.05%。主要发现包括动态门控和阅读器训练在记忆注入方面的有效性。
此更新为llama.cpp引入了基于Vulkan的int8协作矩阵乘法实现，针对AMD RDNA3和RDNA4 GPU，提升这些硬件平台上的推理性能。
这是一个拉取请求，旨在为 llama.cpp 添加对 Ling 3.0 VL 模型的支持，以增强其处理视觉语言模型的能力。
用户分享了他们的本地AI配置，利用两个BC-250前挖矿APU和llama.cpp运行Qwen3.6-35B-A3B模型，实现60 tok/s和64k上下文，成本低于300美元。
Bonsai-Llama-Jev 是一个开源的、支持视觉的类型决策推理系统，可在本地运行，具有低显存占用和高准确率，在多样化基准测试中超越其他系统。
Hugging Face 宣布在 transformers 库中原生支持 GGUF 文件，使得量化模型能更轻松地与 PyTorch 工具结合使用，性能与 llama.cpp 相当。
K2-Horizon AI 模型系列的量化版本现已可在 Hugging Face 上下载，支持从 0.9B 到 36B 参数的多种尺寸。但 llama.cpp 的支持仍在进行中，需要使用分支版本。
本文比较了在 RTX 3060 上对 Qwen 3.8 27B 模型进行 GSQ 和 ByteShape 量化的结果，揭示了尽管 ByteShape 量化声称与原始模型高度相似，但其性能却表现不佳。