标签
本文提出了一种资源高效的RAG流水线，用于UNLP 2026共享任务中的乌克兰多领域文档理解，通过平衡推理深度与硬件约束，实现了第10名的排名。
TierKV提出一种预测性多层KV缓存框架，用于优化长上下文大型语言模型在移动设备上的内存使用和吞吐量，在最小精度损失下实现显著的性能提升。
本文展示了如何使用任何GGUF模型与llama.cpp进行二元分类任务（如垃圾邮件检测），通过配置参数从logprobs中输出概率。
比较 Ling 3.0 Tiny 和 Gemma 26B-A4B MoE 模型在音频书流程中的字符归属，显示 Gemma 达到更高精度，但 Ling 提供更快的推理速度。
Atlas是一个用纯Rust和CUDA编写的开源LLM推理引擎，实现了高性能并兼容NVIDIA和AMD硬件。
本文介绍了LearnActCoder，一个角色感知错误记忆框架，通过将错误转化为结构化教训来适应临床编码代理，在不更新模型权重的情况下提高CPT编码性能。
SwitchSD 是一种用于 LLM 推测解码的自适应框架，利用内在模型信号在神经草稿与基于上下文的复制之间动态切换，与 EAGLE3 等基线相比，吞吐量最高可提升 15%。
远程开发已为Atlas LLM推理引擎添加了AMD R9700（RDNA 4）支持，使其能够在硬件上运行像Qwen3.8-27B和Ornith-9B这样的模型。
本文解释了在大语言模型（LLM）推理过程中GPU内存的使用方式，将其分解为四个关键组件：模型权重、KV缓存、激活值/工作区和运行时开销。文章强调了量化在优化内存使用以提升性能方面的重要性。
本文构建了大语言模型推理优化的成本-质量-延迟帕累托图谱，使用校准的模拟器评估不同硬件和场景下的配置和组合。
ASPIRE是一种异步分块自推测解码框架，通过支持独立请求调度并减少注意力机制的陈旧性，显著提升了长上下文大语言模型的推理性能，实现了1.70至4.58倍的基准加速效果。
XeBoostLM 是一款原生 C++ 命令行工具，用于在 Intel NPU、iGPU 和 CPU 上运行本地大语言模型，提供优化性能且零 Python 开销。
llama.cpp 发布版本 b11003，这是一个 C/C++ 工具，可在各种硬件上以最少的设置实现高效的大语言模型推理。
FlexEE介绍了一种自推测和KV缓存兼容的早期退出框架，用于卸载部署中的高效LLM推理，在Llama模型上实现了显著加速，且精度损失最小化。
本文针对分离式LLM服务的学习型请求路由进行了实测研究，评估了一种利用准入时特征分配请求的校准路由器，在实际vLLM/NIXL集群上取得了比传统方法更高的平均有效吞吐量。
LayerRoute引入了一种参数高效的自适应transformer层跳过方法，结合了逐层路由与联合LoRA微调，在LLM推理中实现了经过验证的速度提升和质量改进。
此拉取请求为llama.cpp框架添加了Maple 20B-A1B三元混合专家架构的CPU推理支持。
本文讨论了通过根据请求复杂度将请求路由到适当模型来优化生产环境中AI模型的使用，使用TrueFoundry的Auto Routing可将成本降低高达80%，同时保持高质量。
用户询问如何通过llama.cpp和Unsloth Studio等工具，将ngram数据卸载到RAM或SSD，以运行Qwen3.8-Flash-Next等大型语言模型，并寻求具体方法或官方计划。
这篇文章分享了一份精选的AI基础设施入门阅读清单，重点关注大型模型推理主题，如vLLM、连续批处理和性能基准测试。