标签
Charlie Marsh 分享称,OpenAI 的 Codex 在他忙于其他任务时,自主发现了一个格式化工具可以提速 5-10%。
Charlie Marsh 报告称,在让一个未具名的AI或工具重试优化后,又获得了5%的加速,可能与Ruff或uv有关。
Charlie Marsh 指出,Codex 在格式化程序中自动发现了 5-10% 的速度提升,凸显了 AI 辅助工具改进的力量。
quicktok 是一个快速且精确的 BPE 分词器,用 C++ 编写,与 tiktoken 字节一致,比现有替代方案快 2–11 倍。支持 cl100k、o200k、GPT-OSS、Llama-3 和 Qwen2.5/3 编码器。
llama.cpp 原生支持多令牌预测(MTP),无需额外 draft 模型,利用模型内置预测头,使 Qwen3.6-27B 等本地模型实现 1.7x+ 加速,让 27B 模型在消费级显卡上流畅运行。
一条推文推荐Nvidia RTX 4090使用--ddtree-budget 36,声称在Qwen3.6_27B解码时实现2.5倍加速。