@PyTorch: LightSeek (@lightseekorg) TokenSpeed 为 Thinking Machines Lab 的 Inkling 模型提供 Day-0 优化的 FP4 推理支持…

X AI KOLs Following 工具
fp4-inference inference-kernels lightseek tokenspeed open-source pytorch vllm

摘要

LightSeek 的 TokenSpeed 为 Thinking Machines Lab 的 Inkling 模型提供 Day-0 优化的 FP4 推理支持，支持 NVIDIA 和 AMD 加速器，基于 PyTorch 并与 vLLM 合作。

LightSeek (@lightseekorg) TokenSpeed 为 Thinking Machines Lab 的 Inkling 提供 Day-0 优化的 FP4 推理支持，覆盖 @NVIDIA 和 @AMD 加速器。TokenSpeed 基于 PyTorch 基础设施构建，并与 @vllm_project 合作，为开源 AI 生态系统推进高性能、可复用的推理内核。
查看原文
查看缓存全文

缓存时间: 2026/07/16 14:15

LightSeek (@lightseekorg) TokenSpeed 为 Thinking Machines Lab 的 Inkling 提供了 Day-0 优化的 FP4 推理支持，覆盖 @NVIDIA 和 @AMD 加速器。TokenSpeed 基于 PyTorch 基础设施构建，并与 @vllm_project 合作，为开源 AI 生态系统推进高性能、可复用的推理内核。

LightSeek Foundation (@lightseekorg): Thinking Machines Lab 今日发布了 Inkling。 我们很高兴与 Thinking Machines Lab 合作，为 TokenSpeed 带来 Inkling 的 Day-0 支持。 ✅NVIDIA (G)B200/(G)B300 (NVFP4) ✅AMD MI350X/MI355X (MXFP4) ✅原生 FP4 推理 ✅统一内核架构 ✅MTP + optimized

相似文章