标签
一位开发者从头构建了一个 Rust 推理引擎，带有自定义 GPU 内核，在 Nemotron-30B 解码上优于 vLLM，达到 75.7 vs 57 tok/s，提交至 Build Small 黑客马拉松。
宣布Build Small黑客马拉松将在6小时后开始，共有3300名开发者参与，模型参数上限为32B，现金奖励48,000美元，2块RTX 5080显卡，以及10万美元的Codex积分。活动将于太平洋时间6月5日上午9点启动。