标签
作者对比了通过 Z.ai 云订阅与本地部署的 GLM 5.3 Flash 在相同任务上的表现，本地推理在输出几乎相同的情况下快了 4.2 倍，指出本地 AI 除省钱外的最大价值是节省时间、提升代码产出效率。
Egzakta AI Lab 发布了 KVARK Sparkle 1.0，这是一款基于 Qwen3.8-27B 的 270 亿参数开放权重模型，可将思考 token 数量最多减少 67%，并将中位响应速度提升至两倍，同时在五项标准基准测试中保持相当的准确率。
这篇帖子认为，原始推理速度正变得与模型智能同样重要，因为 AI 智能体在执行每项任务时都要进行数十次链式调用——文中比较了 N0.5 Flash（约 2,000 token/秒）、DeepSeek V4.1 Flash、GLM-5.3-Flash 和 MiMo-V2.5-Pro UltraSpeed 等顶级高吞吐量方案。
DiffuSpace 发布了 Clover-35B-A3B-Preview，这是一款开源的块扩散语言模型，采用 350 亿参数的 MoE 骨干网络（约 30 亿激活参数），支持 128K 上下文，在 GB300 上的生成速度达 680 token/秒，在 SWE-bench Verified 上得分为 73.6%，并采用 Apache 2.0 许可证。
Mica v0.5 是一个 4B 参数的决策模型，在单张消费级 GPU 上实现极速推理（256 token 仅 19.8 ms），并在 JevBench Hard 和 JDI 上取得 4B 级别最佳成绩，采用 Apache-2.0 开源协议发布。
Mercury 3 是目前发布的最强扩散式大语言模型，宣称以 1,000+ tokens/s 的速度运行，比竞争对手快 4–8 倍，并在性能上超越 GPT-6 Luna 和 Claude Haiku 5.5，实现 40 倍扩展而不降低速度。
Skyfall发布了其前沿工程模型Sky-001，声称其在速度上比Astra快100倍，成本低150倍。
FLUX 3 Max 由 fal Research 与 Black Forest Labs 合作推出，在 Artificial Analysis 的图生视频榜单上并列第一：生成一段 10 秒的 720/768p 视频仅需约 12 秒，速度远超 Seedance 2.5，并在 fal 上限时 75% 折扣。
Nace AI 发布多模态决策模型 Drex Max，可直接从截图、屏幕录像、扫描文档和图表中快速做出决策，适用于 computer-use 和 browser-use 智能体。该模型在 Mind2Web 上达到 88.3%，Decision Index 得分 67.6，推理速度为 34ms/决策。
MiniMax 发布 M3.1 Flash 模型，速度提升 3 倍、成本降低 70%，专为智能体（agents）场景优化。
llmspeed 是一个开源网站，让你在购买硬件之前，先预览本地 LLM 在各种 GPU、Mac 和 CPU 上的运行速度，数据来自社区基准测试和基于规格参数的推算。
Amazon 发布 ALoDLM 自适应循环扩散语言模型家族（1.7B 和 8B，基于 Qwen3 骨干初始化），通过共享层循环复用与自适应计算分配，在推理速度上约为其基座模型的 3 倍，同时在多项基准测试中取得更好成绩。
用户分享的独立测试结果表明，Qwen3.8 模型的 Strata 和 Swift 量化变体为了追求速度，牺牲了大量智能表现，而 27B Q4 模型尽管慢了 3–5 倍，却在实际编程任务中表现更好。
一位使用 128GB Mac Studio M1 Ultra 的用户对比了本地运行 Qwen 3.8 Flash Next 和 DeepSeek V4 的体验，指出 Flash Next 基准测试分数更高，但完成每个任务所需的时间却长得多，并质疑质量与速度之间的实际权衡是否值得。
智谱的 GLM-5.3-Highspeed 模型已在 ZCode 的灰度发布中亮相，早期用户反馈其推理速度约为每秒 490 个 token。该模型正逐步向随机选中的订阅用户开放。
一位评测者在 7900 XTX 上花 16 小时对比了名字夸张的 Qwen3.8-27B-Coder390-EfficientThink 变体与官方原版等模型，发现准确率无明显差异，主要差别在响应速度，最终推荐了更快的 ThinkingCap 版本。
vllm-sr/d3 是 Decision 3.0 的 27B 多模态基础决策模型，支持文本、JSON、图像与视频输入，可在一次调用中完成选择、是非与评分决策并输出概率，无需生成文本。它在 Jev Decision Index 上以 66.3 排名官方文本榜第一，较 Decision 2.0 提升 10.4，并在 AMD MI325X 上实现 27 req/s 的服务性能。
Tibo 宣布 GPT-6 Astra 和 GPT-6.1 Sol 在 OpenAI 产品及使用 Sign in With ChatGPT 的第三方合作伙伴中实现了约 50% 的速度优化，一位用户的测试证实其从约 20 tps 跃升至约 30 tps。
Liquid AI 宣布其决策模型 d1 现在支持图像、文本或两者组合作为输入，声称在 6 项真实世界应用中的 4 项上匹配或超越 GPT-6.1 Sol，同时成本降低 19 到 200 倍，响应速度显著更快。d1 在单次前向传播中直接返回是/否、选项或评分的概率，无需生成任何 token，响应时间在 200–300 毫秒之间。
该论文提出了 DuplexJev 方法：将 ASR 编码器的隐状态通过一个小型连接器输入到冻结的 LLM 中，以单一 token 分布的形式回答关于语音的封闭式问题，全程无需解码。该方法能在约 0.1 秒内对八段语音批量作出判定，并将说话人性别与情感识别的准确率提升至 90%。