ling-model

LMSYS Org 的一篇博客文章详细介绍了使用 SGLang-JAX 在 TPU v7x 上优化 Ling-2.6-1T（一个 1 万亿参数的混合 MoE 模型），通过单个 Pallas 内核将 MoE 数据移动隐藏在计算之后，从而实现高效的推理。

一位企业代理开发者讨论了使用像Ling 1T 2.6这样的开源模型的权衡，强调了相比于专有API，优化和基准测试的高昂开销。

文章认为，高效的AI智能体需要克制和明确的“停止条件”，而非无限的自主性，并指出Ling-2.6-1T是一个适合保守规划角色的模型。