@davideciffa：非常自豪地宣布，我们刚刚发布了 Luce KVFlash。在 Lucebox 中以 256k 上下文运行您偏好的模型，无需…

X AI KOLs Timeline 工具
open-source long-context kvcache decoding speculative-prefill lucebox efficiency

摘要

宣布发布 Luce KVFlash，这是一个在 Lucebox 中以 256k 上下文运行模型的工具，无需担心 KVCache 和 OOM，通过推测预填充和动态卸载，在长上下文场景下解码速度提升高达 2.9 倍。

非常自豪地宣布，我们刚刚发布了 Luce KVFlash。在 Lucebox 中以 256k 上下文运行您偏好的模型，无需担心 KVCache 和 OOM，在长上下文场景下解码速度提升高达 2.9 倍。 借鉴操作系统分页思想，并利用我们的推测预填充方法（Luce PFlash），我们成功使 KV vRAM 使用量几乎恒定。动态卸载不需要的内容。 开源现在比以往任何时候都更需要胜利。
查看原文
查看缓存全文

缓存时间: 2026/06/15 00:54

很自豪地分享我们刚刚发布了 Luce KVFlash。现在可以在 Lucebox 中运行你偏好的模型，支持 256k 上下文，无需担心 KVCache 和 OOM（内存不足），长上下文解码速度最高提升 2.9 倍。

借鉴操作系统分页的思想，并利用我们的投机性预填充方法（Luce PFlash），我们成功使 KV 显存使用几乎恒定，动态卸载不需要的内容。

开源必须获胜，现在比以往任何时候都更需要。

相似文章

Luce Megakernel: 为什么没有人谈论这个？

Reddit r/LocalLLaMA

Lucebox Hub 为本地 LLM 推理提供优化的 CUDA 内核（Megakernel、DFlash、PFlash），在各种模型和 GPU 上相比 llama.cpp 实现了显著的加速（2-10 倍）。

Luce Spark：无需卸载开销，在16GB GPU上运行35B MoE模型

Reddit r/LocalLLaMA

Luce Spark 是一款开源工具，通过智能地将热门专家缓存到 GPU 上，同时将其他专家保留在系统 RAM 中，从而在 16GB GPU 上运行 35B MoE 模型。它采用校准放置和有限异步缓存，保持高吞吐量，避免了常见的卸载速度断崖。