structured-prediction

文章介绍了由 Cactus-Compute 开发的 2600 万参数模型 Needle，该模型专为单次工具调用设计。文章主张将工具路由从推理中分离出来，作为一种结构化预测任务，以提高代理（agent）的效率并降低延迟。