标签
Photon 2.0 是一个新的推理引擎和编译器，可将 Moondream、Qwen 3.5 和 Gemma 4 等模型编译为巨型内核，声称在物理AI工作负载上比 vLLM 和 SGLang 的吞吐量高达 2.3 倍。
本文展示了代理工作流可以蒸馏到小型微调模型中，在实现接近前沿质量的同时，与编排方法相比将推理成本降低两个数量级。