@reach_vb：更多算力，更少中断！
摘要
Tibo Sottiaux 分享了为显著减少 "Selected model is at capacity" 提示所做的改动，并通过增加算力让服务在容量不足时能够自动继续而不是阻塞。
查看缓存全文
缓存时间: 2026/10/15 16:16
更多算力，更少中断！✨
Tibo (@thsottiaux)： 第 11 天/
我们已经落地了一系列改动并增加了更多算力，以大幅减少令人困扰的“所选模型已达容量上限，请尝试其他模型“错误的发生频率。即使偶尔出现，系统也最终能够自动继续，而不会一直卡住。
相似文章
@charles_irl：超高吞吐优化会一直进行下去，直到士气好转为止
Quail，一个开源 AI-SQL 引擎，新增了前缀共享（prefix sharing）支持，在对 1,772 条长 agent 轨迹使用 qwen3-4b 打标签的示例中，计算 token 减少 3 倍，查询速度提升 2.6 倍。
@wquguru：在本地部署模型离不开一些加速技巧。简单来说，你可以切换到 Turbo 之类的模型；……
作者系统整理了本地部署模型的加速方案，包括在 macOS 上结合 Turbo、MLX、VAE Q8 和前缀 KV cache 让 Qwen-Image 2.1 提速近 5 倍，以及用 Uzu 的投机解码把 Qwen3.5-9B 从 22 tok/s 提升到 92 tok/s、用 TensorRT 让 Qwen 在 RTX 5090 上比 llama.cpp 快 3 倍等案例。
@yibie: https://x.com/yibie/status/2102913925843161297
这篇文章详细介绍了如何以最低成本高效使用Jev AI模型，通过批量提问和利用其状态计费机制来节省开支，提供了具体配置和代码示例。
@svpino: 无服务器，但针对模型的，来了！我在12年前就不再租用服务器了。我基本上把所有东西都迁移到了无服务器函数上……
Runpod 发布 FlashBoot，一种针对 AI 模型的无服务器方案，将空闲模型迁移到更便宜的存储，并在需要时将其调回 GPU，冷启动时间低于 200 毫秒，相比传统云服务降低成本 90%。
@servasyy_ai: Strata 0.1.39 Multi-GPU Optimization is Here! No wonder—some folks' speeds have doubled!
Strata 0.1.39 发布了多 GPU 优化，据用户反馈部分场景推理速度翻倍，实测在 4090 48G 上运行千亿参数的 Qwen3.8-Flash-Next 获得了显著的 token/s 提升。