token-generation

该推文猜测即将发布的 Qwen 4 系列模型是否会减少思考（thinking）token 的消耗，作者认为在保持或提升智能的同时少思考是最大的升级方向。

一条推文认为，当前的算力不足以满足 AI 的潜力，代币生成将在未来几年内继续成为主要瓶颈。

OpenAI宣布Ultrafast，一项高级速度服务，在Codex中令牌生成速度提升高达8倍，在API中提升6倍，以提升开发者的性能。

开放权重AI模型在令牌生成上正取得领先，但专有AI系统仍主导收入生成，凸显了AI行业的经济趋势。

文章推测，五年内，前沿AI智能可能达到超过5000令牌/秒的速度，快于人类思维，并讨论了当前AI速度和视频生成能力。

Emad Mostaque 展示了 Taalas 以每秒 14,000 tokens 的速度生成，比 ChatGPT 的 50-150 tokens/秒快得多，如在 The Peter McCormack Show 上展示的那样。

NVIDIA已开始全面生产Groq 3 LPX AI推理加速芯片，该芯片为Vera Rubin平台提供支持，实现了AI模型有史以来最快的令牌生成速度。

NVIDIA正在将Groq技术集成到机架规模的产品中，以通过跨专业处理器分配工作负载来增强代理AI性能，改善令牌生成延迟和整体响应性。

该基准测试对 llama.cpp 中的 DFlash2 与 MTP 技术进行了比较，结果表明 DFlash2 的令牌生成速度提高了约 20%，但可用上下文减少了 38%。

一篇反思性文章，以蓝调歌曲为隐喻，描述大型语言模型如何逐词生成文本，论证“投掷”（生成）决定了“目标”（意图），颠覆了通常意图先于表达的顺序。

Nader Dabit 展示了1,000 tok/s子代理与85 tok/s之间的速度差异，强调lightning skill offload通过使用子代理进行实施同时保持前沿模型作为规划者和审查者，可实现约5倍更快的执行。

MiMo v2.5因其在OpenCode中令人印象深刻的令牌生成速度而受到称赞，表明它是一次被低估的模型更新。

Sam Altman 宣布，一款每秒750个token的模型将在七月以5.6 SOL的价格提供。

用户报告，包括Qwen 3.6 35B在内的AI模型在与Copilot Chat或Hermes集成时会出现无限循环，生成过多token或错误的工具调用。

llama.cpp的构建9254修复了一个token生成回归问题，并添加了对NVIDIA GPU的PDL（程序化依赖启动）支持，在新硬件上token生成速度提升高达10%。

一位用户使用 llama.cpp 对 Nvidia 5090 RTX GPU 进行 LLM 推理基准测试，测量了不同功耗水平下的提示处理和 token 生成情况，发现提示处理对功耗限制更为敏感，而 token 生成相对不敏感，并指出了与 4090 RTX 的差异。

atomic.chat 优化了 Gemma 4 26B 在 LLaMA.cpp 中的推理性能，在 MacBook Pro M5 Max 上通过多 token 预测（MTP）推测解码实现了约 40% 的 token 生成提速。这对运行桌面应用、编程智能体和本地私有助手的本地 AI 用户来说是一个重大利好。

Ultrafast是GPT6 Astra的一项新API速率层级，提供比标准层级快7倍以上的令牌生成速度，允许开发者构建实时精灵生成等高速应用，同时保持智能水平。