标签
一位用户正在寻求构建预算型家用 AI 服务器（32-48GB 显存）的建议，正在 AMD RX 9060 XT 和 Nvidia RTX 5060 Ti GPU 之间犹豫，并纠结于使用 AM5 还是二手 EPYC 平台来进行本地 LLM 推理和大型 MoE 模型卸载。
该预印本介绍了DBLast，一种用于随机投机解码的依赖块草拟器，它利用基于标记位置的低秩潜在混合模型以及面向接受的训练目标，在更高熵解码场景中提高接受草稿长度。基于Qwen3-4B和Qwen3-8B的实验表明，与独立块采样相比，该方法能持续提升接受长度。
This paper introduces QEvict, a KV-cache management scheme for LLMs that uses recoverable quantized eviction to handle attention drift during long-context decoding, improving memory efficiency while preserving important historical context.
伯克利 Sky Computing Lab 开源的 vLLM 是一个高性能 LLM 推理与服务库，通过 PagedAttention 和连续批处理大幅提升吞吐量、降低显存浪费，并兼容 OpenAI API 和多种硬件。
DeepSeek 宣布大幅上调 API 价格，分析认为此举不仅是 GPU 成本转嫁，更反映了市场向基于价值的定价转变以及开源生态系统带来的压力。
深入探讨vLLM用于高吞吐量LLM推理的架构与组件，涵盖调度、分页注意力、连续批处理、高级特性、扩展、服务及基准测试。
介绍了BinaryPC，一种面向长上下文大语言模型的无训练哈希稀疏注意力方法，利用二值主成分构建哈希码，在保持准确率的同时，解码吞吐量较FlashAttention提升了3.56倍。
本文提出NOVA-KV，一种用于KV缓存量化的变换编码方法，它利用注意力保持变换在查询实际关注的位置分配比特，与先前方法相比，在低比特率下提高了长上下文检索精度。
本文首次对智能体 AI 工作流进行架构特征分析，揭示了碎片化、异构化的执行模式与常规服务器设计不匹配的问题，并介绍了一个名为 Agora 的原型服务器以提高 CPU/GPU 利用率和吞吐量。
bootai 是一个开源 UEFI 应用，可直接启动进入 AI 聊天/代码 REPL，在无操作系统的裸机上运行 Qwen2.5 和 SmolLM 模型推理，并配有手写网络驱动和 TCP/IP 协议栈。
讨论Transformer做大规模推理的瓶颈，并梳理2023到2026年间大模型推理优化技术的演进，包括KV cache量化、推测解码、架构创新和软硬件协同设计。
AcceptMoE is a verifier-side expert selection method for speculative decoding of MoE LLMs, which reduces expert-weight traffic and improves throughput by up to 2.06x under expert offloading with minimal accuracy loss.
ATFlash introduces a per-RoPE-wavelength distance window that prunes query-key inner-product terms proportional to each frequency pair's wavelength, cutting 37-48% of attention compute with minimal quality loss and up to 1.31x speedups on long-context LLM inference.
AnchorKV is a new KV cache compression scheme that shrinks the cache by 20x without discarding any tokens, using anchor-residual representations to preserve 99% of full-cache accuracy at the 70B scale. The paper is a preprint under review.
提出了OptR，一种用于INT2 KV缓存量化的输出感知旋转方法，可最小化输出后的注意力误差，在多个模型和基准上改进QuaRot和OSCAR。
TaskPress introduces a query-agnostic KV cache compression framework that uses a task guide as a meta-query and quantization scale factors to prune irrelevant tokens, enabling reusable caches across diverse queries with negligible overhead.
一位开发者更新了 MLX-Serve（一个面向 Apple Silicon 的快速本地推理服务器），以支持近期模型，如 LiquidAI 2.6B、MiniMax H3 视频生成和 DeepSeek V4 Flash，AntLing 3.0-flash 即将推出。
SK海力士推出CMM-Ax，这是与Marvell Technology共同开发的基于ASIC的CXL-PNM解决方案，旨在克服长上下文LLM推理中的内存瓶颈，吞吐量比仅使用GPU的系统最高提升5.5倍。
This paper introduces S4R, a low-rank KV cache compression method that combines selective token sampling, subspace construction, and sparse reconstruction to achieve up to 5× compression with near full-cache accuracy on LongBench and RULER benchmarks.
演示了在 Mac 上仅用 4.3 GB 内存运行 80B Qwen 模型，以及在 iPhone 上运行 35B 模型，展示了本地 LLM 推理的极致内存优化。