open-source-llm

一个新的在线工具Chat Template Playground，让用户可视化查看不同开源LLM渲染其聊天模板的方式，突出显示了提示和分词上的差异。

一位开发者将其AI智能体的LLM调用拆分为廉价的路由模型（GPT-OSS 120B）用于工具选择，以及高级模型（gpt-5.4）用于合成，成本降低了约78%，同时保持了输出质量。

本文分享了一个 llama.cpp 的性能优化技巧，展示了增大微批大小（`-ub`）并结合部分 CPU 卸载（`--n-cpu-moe`）可以显著提升 gpt-oss-120b 等大型模型在消费级 GPU 上的提示词处理速度。