@ying11231：在TPU上令人印象深刻的性能。
摘要
LMSYS Org 的一篇博客文章详细介绍了使用 SGLang-JAX 在 TPU v7x 上优化 Ling-2.6-1T（一个 1 万亿参数的混合 MoE 模型），通过单个 Pallas 内核将 MoE 数据移动隐藏在计算之后，从而实现高效的推理。
查看缓存全文
缓存时间: 2026/06/17 22:03
在 TPU 上表现卓越。
LMSYS Org (@lmsysorg): 🚀 我们的新博客：使用 SGLang-JAX 在 TPU 上优化 Ling-2.6-1T：用一个 Pallas Kernel 将 MoE 数据移动隐藏在计算背后
Ling-2.6-1T，一个 1T 混合 MoE 模型，现已通过 SGLang-JAX 在 TPU v7x 上提供服务。SGLang-JAX 团队与 @inclusionAI 在两个方面合作：
相似文章
@leloykun：[进行中] 关于 Lean4-to-TileLang 张量程序超级优化器的博文：
一篇技术博文介绍了一种 Lean4-to-TileLang 张量程序超级优化器，能自动生成优化的 GPU/TPU 内核与超参数缩放规律，展示了相较 torch.compile 的性能提升。
@omarsar0: NVIDIA 的压缩论文，相当惊艳。（记得收藏）更大的 MoE 模型在质量上持续胜出，但以交互延迟提供服务仍然困难…
NVIDIA 的论文介绍了 Puzzle-75B-A9B，这是一种压缩的混合 MoE 模型，能够在保持质量的同时将服务器吞吐量提高一倍，从而实现大型语言模型的成本高效部署。
@thesupermanmx: 中国刚刚改变了游戏规则。他们发布了一个开源模型，仅消耗你们最喜欢的美国模型1%的token…
中国发布了Ling-2.6-1T，一个1万亿参数的开源模型，在256K上下文窗口中SWE-bench上达到72.2%，声称高效且兼容Claude Code。
@jino_rohit：在过去的6到8个月里，我一直尝试转向机器学习系统和AI基础设施领域。以下是我最喜欢的一些…
作者分享了他们在过去6-8个月里在ML系统和AI基础设施方面的工作，包括一个轻量级的Python LLM推理引擎（tachyon），在消费级硬件上通过连续批处理和前缀缓存实现了每秒600+ tokens，还有关于CUDA/CUTE DSL和集体通信的博客文章，以及对SGLang和vLLM的贡献。
@TheAhmadOsman: 为什么我关注你硬件的推理引擎/软件栈？ - 2x RTX 3090s: ~14.5 tok/s → ~64 tok/s 提升到…
不同硬件上推理引擎性能对比：在2x RTX 3090s上从基线迁移到TP=2的vLLM，性能从~14.5 tok/s提升至~64 tok/s；在RTX PRO 6000上迁移到Sglang，性能从~32 tok/s提升至~110 tok/s。推荐在CUDA/多GPU场景使用vLLM/Sglang，在边缘设备使用llama.cpp。