JEV在40秒内以0.09美元代币成本拆解了37个品牌的724条实时广告

在X平台上，Matthew Berman发布了一个热门演示，其中Jev在40秒内处理了37个品牌的724条实时广告，运行了8,700多次离散分类，仅花费0.09美元代币。由于Jev纯粹是一个结构化文本分类模型，不接受原始图像张量，很多人困惑它是如何做到的，因此Berman在回复中指出，上游管道使用Gemini和嵌入来提取原始视觉/文本代币，然后传递到Jev的API以并行评估预定义的架构目标（Choice, Score, Noul）。与传统的自回归生成不同，其中代币是一个一个预测的，Jev在单次前向传递中采样所有架构决策，消除了顺序代币延迟，达到了每条记录216毫秒的中位数延迟。与训练自定义BERT或DeBERTa分类头不同，它可以直接用于任意架构定义，并且由于它在32k上下文窗口下运行且没有持久记忆，你不能依赖它进行复杂的多步骤推理或需要深度组织上下文的任务。它是一个智能条件路由器，而不是自主代理。此外，这里有一篇深度文章，分析了这些基准，将过高的声称与实际生产管道进行对比，如果你想了解它在实时工作流架构中的表现，可以查看这份通讯。这是一个非常干净的原语，用于减少粘性代码并将基本分类从前沿模型中卸载，前提是你将其保持在其实际设计边界内。