@charles_irl：超高吞吐优化会一直进行下去，直到士气好转为止
摘要
Quail，一个开源 AI-SQL 引擎，新增了前缀共享（prefix sharing）支持，在对 1,772 条长 agent 轨迹使用 qwen3-4b 打标签的示例中，计算 token 减少 3 倍，查询速度提升 2.6 倍。
查看缓存全文
缓存时间: 2026/10/08 14:17
超高吞吐量优化将继续进行，直到士气好转为止
Shreya Shankar (@sh_reya)： 我们现在在 Quail（我们的开源 AI-SQL 引擎）中支持了前缀共享（prefix sharing）！在这个示例中，我们使用 qwen3-4b 对 1,772 条长 agent trace 进行 issue 类型标注：token 计算量减少了 3 倍，查询速度提升了 2.6 倍 ⏩👇
相似文章
@charles_irl: 当查询规划器与推理引擎相遇，你会得到什么？每分钟超过十亿个token！隆重介绍Qu…
Quail 是一个开源 AI-SQL 引擎，它将查询规划与 LLM 推理相结合，在 H100 GPU 上实现了每分钟超过十亿个输入 token 的处理能力。
@servasyy_ai: https://x.com/servasyy_ai/status/2106563331976991217
这篇长文实测用两张二手 V100 32G 跑 Qwen3.8-27B，通过重写推理引擎 NInfer 的内核、加入双卡支持和推测解码，让 20 万 token 代码任务的生成速度从 36 tok/s 提升到约 100 tok/s，跑赢了单张 4090 48G 的 80.9 tok/s，同时分析了显存带宽、量化与 NVLink 对推理性能的影响。
Qwen 3.6 35B 吹捧帖
用户分享对 Qwen 3.6 35B（Unsloth UD_Q4_K_XL 量化）的使用心得：编码能力一般，但在通用 agentic 任务上表现出色，配合 Tesla P100 可达到对话级速度。
@AI_Community_9: Unsloth Desktop把Qwen3.8 27B的体验推到了新高度。 开箱即用 + 跨平台，核心是把微调和推理的 显存杀到了极致（显存省 70%、速度快 2 倍）。 把“训练、推理、Agent 工具链”全塞进 一个免费开源的桌面端，…
Unsloth Desktop是一个免费开源的桌面应用程序，通过极致优化显存和速度，将训练、推理和Agent工具链集成在一起，显著提升了Qwen3.8 27B等AI模型的使用体验。
Telperion 推出新模型：Qwen3.8-27B-MLA 和 Qwen3.8-27B-GLA-g2。KV 缓存缩小至原来的 1/4，推理更智能、更高效。
Telperion 发布了 Qwen3.8-27B 的潜在注意力（MLA 与 GLA-g2）变体，将 KV cache 压缩 4 倍，在消费级硬件上实现接近 4 倍的最大上下文或服务器端 4 倍并发，并在 SWE-bench Verified 上取得 +6.58% 的性能提升，同时减少约 20% 的推理 token 消耗。