@johnschulman2: 人们有时会问，既然通用模型越来越好，为什么还要微调。桥水基金的工作是一个很好的提醒…
摘要
John Schulman 强调桥水基金的工作表明，使用专家标注数据进行微调，在金融文档分类上能显著优于仅用提示的方法。
人们有时会问，既然通用模型越来越好，为什么还要微调。桥水基金的工作很好地提醒我们，只要有合适的数据——在这里是专家判断——你就能远胜于仅用提示的方法。@ddkang 和桥水 AIA Labs 团队很棒——很高兴看到他们分享这个。
查看缓存全文
缓存时间: 2026/07/01 01:56
人们有时会问，既然通用模型不断进步，为什么还要微调？Bridgewater 的工作很好地提醒我们，有了正确的数据——这里指专家判断——你可以大幅超越仅依赖提示的方法。@ddkang 和 Bridgewater AIA Labs 团队非常出色——很高兴看到他们分享这一点。
Tinker (@tinkerapi): 对于前沿大语言模型来说，辨别哪些金融文档值得分析师投入时间出奇地困难。借助专家标注的数据集和在线策略蒸馏，Bridgewater 微调了一个模型，使其能够可靠且低成本地完成这项任务。
相似文章
@miramurati：Bridgewater利用其独特的金融知识，与我们及@tinkerapi合作，微调了一个模型，帮助……
Bridgewater与Tinker API合作，微调了一个大语言模型，以在金融任务中复现专家判断，在信息准确性和召回率上以更低成本超越了前沿模型。
@oneill_c: 1/ 我们微调了很多客户模型，因此我们决定系统地尝试找出一些微调的最佳实践…
该帖子分享了关于微调最佳实践的系统性实验结果，一次改变一个SFT变量，涵盖密集模型和MoE模型（参数规模达235B），在四个真实客户数据集上使用自定义评估来消除混淆因素。
@no_stp_on_snek: 微调现场笔记 你可以在不教模型新知识的情况下让它有更好的判断力。我没有添加知识或…
作者分享的现场笔记显示，微调可以通过引导注意力来提升模型的判断力，无需添加新知识或权重，实际上是改变其本能而非智商。
@no_stp_on_snek：微调小型开放模型时真正让我惊讶的事情。注意，我在这方面还算新手，所以有些内容可能看起来很显而易见……
一位开发者分享了微调小型开放模型时令人惊讶的经验教训，包括基础模型往往已经在预期改进点上达到极限，真正的弱点在于行为（屈服），而微调需要仔细的衡量和平衡。
@LangChain: 微调开源模型可以超越或匹配前沿模型。基础 @Alibaba_Qwen 开箱即有良好的提示能力：强…
使用LoRA微调像阿里巴巴Qwen这样的开源模型，可以在错误分类任务上匹配或超越前沿模型性能。