kvcache-ai/ktransformers
摘要
KTransformers 是一个灵活的研究框架，专注于前沿的大语言模型推理与微调，利用CPU-GPU异构计算，并支持多种最新模型。
查看缓存全文
缓存时间: 2026/07/20 09:44
一个用于体验前沿LLM推理/微调优化的灵活框架
相似文章
原生速度 vLLM transformers 建模后端
Hugging Face 发布了 transformers vLLM 建模后端，相比自定义 vLLM 实现能达到原生甚至更快的速度，使模型作者无需移植代码即可自动利用超快推理。
@jiqizhixin: 如果AI的记忆不必随着每多一句话而膨胀呢？牛津大学、Technion、AITHYRA 等…
介绍了KV-Compression Aware Training (KV-CAT) 方法，该方法鼓励Transformer在训练过程中学习可压缩的键值缓存，在不牺牲性能的情况下提高长上下文任务的记忆效率。
@VukRosic99: 长上下文Transformer面临两大瓶颈：二次注意力计算和KV缓存（在1M tokens时可达数百GB）…
MiniCPM-SALA是一款9B参数的混合注意力模型，通过在稀疏注意力和线性注意力之间交替插入（每3个线性层插入1个稀疏层）来克服长上下文Transformer的二次计算和KV缓存瓶颈。在256K tokens下，其推理速度比Qwen3-8B快3.5倍，并能在消费级GPU上支持高达1M tokens。该模型采用经济高效的持续训练方法，训练成本降低约75%。
Transformer 真的需要三个投影矩阵吗？QKV 变体的系统性研究
本文系统研究了 Transformer 中 QKV 投影共享的各种变体，发现共享键和值投影（Q-K=V）可在仅造成 3.1% 困惑度下降的情况下实现 50% 的 KV 缓存压缩，结合 GQA/MQA 最高可达 96.9% 的缓存压缩率——以极小的质量损失实现实用的端侧推理。
@akshay_pachaar: 人工智能研究实验室的操作系统。TransformerLab 可在任何云端编排 GPU，并运行任何训练或评估流程…
TransformerLab 是一个开源平台，可在各云端编排 GPU，并提供预构建模板，用于 LoRA、DPO 和 MMLU 等 AI 训练与评估工作流。