llm-inference

由 PyTorchKR 和 XCENA 联合主办的 KVCache Meetup Korea 2026 邀请了来自 XCENA、SK 海力士、FuriosaAI 和 LMCache 的嘉宾，围绕 CXL 内存池化、GPU/HBM Roofline 分析、RNGD 上的批次调度以及进程隔离的 KV Cache 服务进行了演讲。

RidgeFill 通过用闭式解岭回归预测深层输入、跳过大部分上层计算来加速 LLM prefill，在 Qwen3.8 系列上实现最高 1.6x 的 TTFT 提速，且几乎不损失检索精度。

Hierarchos Native 是一个无需 Python、基于 Rust+Vulkan 的后端，用于 LLM 训练、微调和推理。它迎来了一次重大更新：在 Intel HD 520 上的前向计算延迟降低了 58%，RDNA3 资格验证的 166 次运行全部通过，并修复了 GPT-2 数值一致性问题。

Berth 是一款基于 Go 的轻量级 GPU 资源管理器，可让 llama.cpp 和 ComfyUI 等 CUDA 工作负载通过租约、优先级和队列共享显存，并提供模型暂存、CUDA 检查点保存以及兼容 OpenAI 的网关。它目前处于 Alpha 阶段（v0.4.1），支持 Linux 上的 NVIDIA GPU，并提供对 AMD GPU 和 Windows 的实验性支持。

一位开发者为 Strata 打了补丁，通过添加 KV 拼接式提示词缓存，并在读取提示词时仅将请求路由到常驻显存的专家，使 DeepSeek V4.1 智能体会话在消费级硬件上的运行速度提升至原来的 20 倍，让一个支持 100 万 token 上下文的模型在游戏显卡上完全离线运行。

用户分享的一个 GitHub 仓库展示了在 AMD Radeon RX 7900 XTX GPU 上本地运行 Qwen3.8 27B 时，推理速度得到显著提升。

一篇详细记录将多 GPU LLM 推理平台从 Core Ultra 7 265KF 迁移至 EPYC 7443 平台的文章，涵盖 BMC 风扇问题修复、内存超频、BIOS/PCIe 调优以及 llama.cpp 优化——使 MoE 模型的解码速度最高提升至原来的 4.2 倍，并显著提升带宽和 IOPS。

作者讨论了LLM推理引擎生态日益碎片化的现象，从早期依赖llama.cpp转向各种分支项目（如Niffler、Strata、Avalon、Basalt等），并质疑llama.cpp为何在性能上落后于许多独立开发者的作品。

一位用户在租用的 vast.ai 服务器上对 LLM 推理进行了基准测试。这些服务器配备双路 AMD EPYC 7642（ROME）主板、大容量 DRAM 和 RTX 3090 显卡。测试发现，大内存服务器配置在并发流数量增至 8 路的过程中实现了近乎线性的性能扩展——运行 Qwen 3.8 Flash Next Unsloth Q8 时，c=1 时达到 94 tok/s，c=8 时达到 456 tok/s。

一篇技术解析，解释了为什么 LLM 在收到完全相同的请求时仍可能产生不同的输出：GPU 上浮点数的累加顺序会随批大小而变化，导致得分并列的候选词元的选择发生翻转，即使温度设为 0，生成结果也可能出现分歧。文章重点介绍了 vLLM、SGLang 和 DeepSeek 的 DeepInfer 中用于确保批次不变性的标志选项，并指出，为获得可复现的输出，需要在吞吐量上作出权衡。

GAAC 是一种无损 KV 缓存压缩与推理服务系统，通过分组自适应编码和融合注意力内核，利用 BF16 指数部分的冗余，在不对 KV 值进行近似处理的情况下，在 NVIDIA DGX Spark 和 Apple M4 上实现约 1.4 倍的 KV 压缩比和 1.04–1.27 倍的加速。

GAUSS 是一个工作负载感知的分析与蒙特卡洛模拟器，可预测 LLM 推理服务中 TTFT 和 TBT 的完整延迟分布及可持续请求速率，支持对未部署的工作负载、路由策略和硬件进行容量规划与尾延迟分析。

一篇推测性分析，预测 Qwen4 的混合上下文（HC）架构将拉大 Q4 与 Q6 量化之间的质量差距，需要采用感知 HC 的量化策略，并在非 Blackwell 硬件上更倾向于使用 llama.cpp 而非以 NVFP4 为核心的工具。

TKintegers 推出基于平衡三进制权重表示 K5 的转换器与 GPU 推理实现，在 NVIDIA L4 上对 Qwen2.5-0.5B-Instruct 实现了相对于 TorchAO FP8 基线约 3.21× 的预填充吞吐量提升与 3.10× 的解码吞吐量提升。

开源推理工程仓库的第 6 部分已发布，涵盖使用真实模型推理和 DynamicCache 进行 KV 缓存内存分配、增长、释放，以及容量感知调度。

作者推荐 Baseten 的《Inference Engineering》一书，建议有基础的读者优先阅读第五、六、二章，以系统了解大模型推理技术。

一篇关于利用 Agent 舰队优化 LLM 推理的技术分析，基于 DeepSeek 4.1 Flash 优化达到 2300 tok/s 的经验，指出大部分收益来自配置/计算图而非新 kernel，质疑 megakernel 方法，并强调在自动化优化运行中验证和收敛的重要性。

精选 8 个开源 GitHub 仓库（Ollama、vLLM、LangGraph、Smolagents、LlamaIndex、MCP 服务器、n8n、Browser Use），共同构成 2026 年精简、可自托管的 AI 智能体与自动化技术栈，替代层层叠加的 SaaS 订阅。

普林斯顿大学与 Polymathic AI 推出 FlashMap，这是一种用于推测解码的连续流草稿模型，能够在一次前向传播中生成整个词元块，同时捕捉词元间的依赖关系，在 Qwen3-8B 上实现最高 6.1 倍的无损加速，并在所有基准测试中均优于 DFlash 基线。

提出 Boa Compressor，一个基于 Mamba 状态空间模型的即插即用在线上下文压缩器，通过单次线性时间编码任意长度上下文，并以蒸馏方式训练以匹配完整上下文下的下一词元分布，在相同压缩率下匹敌或超越离线压缩基线且延迟降低一个数量级。