ada-gpu

标签

Cards List
#ada-gpu

Deepseek V4 Flash 在两块 Nvidia 4090d 48G (ada) 上以 vLLM 运行,速度约 105 t/s

Reddit r/LocalLLaMA · 5天前

技术文章:详细介绍如何使用自定义Triton内核和vLLM在两块Nvidia 4090d GPU上运行DeepSeek V4 Flash,在262k上下文环境下实现约105 tokens/秒的推理速度。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈