标签
ToolSearcher 是一个强化学习框架,旨在通过类别约束判别和事件级搜索建模等技术,优化大型语言模型在庞大工具库中的工具选择,从而提升其在迭代搜索与工具组合任务中的性能。
作者分享了过去为了在大规模场景下实现高质量的令牌级分类,而探索高效单专家加载方法的经历,呼应了Maxime Rivest关于特定领域专家模型实用性的观点。
ScaleSweep提出了一种针对LLM的NVFP4训练后量化的新型块缩放初始化方法,通过遍历可行的块缩放候选值来提高精度。在Llama和Qwen模型上的实验表明,在激进量化下,该方法保留了超过93%的全精度性能。