标签
围绕小型推理模型(SRM)是否是下一个重大转变展开讨论,起因是 Pathway 的 BDH 架构及其在 ARC-AGI-1 上的结果,并提出一套超越营销话术、用于评估模型紧凑性、少样本适应能力、训练效率和持续学习能力的框架。
本文介绍了FlyBy,一种选择性查询框架,用于训练小型推理模型诊断知识瓶颈并查询更强模型,以在降低服务成本的同时提升在难题上的推理性能。