model-acceleration

推测Anthropic内部前沿模型在经历了数月的反馈和AI辅助开发周期后，可能比公开发布的Fable 5模型领先多少。

NVIDIA研究人员开发了一种技术，通过消除VLM基础模型用于自动回归逐token预测的步骤，将边界框检测速度提升了10倍。

Draft-OPD 引入在线策略蒸馏，结合目标辅助展开和错误重放，克服了训练用于推测解码的草稿模型时存在的离线到推理不匹配问题，实现了超过5倍的无损加速，相较于EAGLE-3和DFlash分别提升了23%和13%。