学习在金融任务中复制专家判断（14分钟阅读）

# 学习在金融任务中复制专家判断 来源：https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/ ## 判断信息 跑赢市场很难。当每位投资者都能获取相同的公开信息来源时，超额收益必须来自基于品味和判断的独特洞察。一位优秀投资者的判断很难用语言表述并直接传授给他人，无论对方是人类还是AI。这种判断源于经验。 即使我们将投资人的工作拆解为最基本的组成任务，这些任务对LLM来说也出奇地困难。在本文中，我们考虑一个简单的特例：过滤和处理金融文档，以提取与投资决策相关的信息。 投资者每天被各种信息轰炸：新闻文章、研究报告、公司文件、电子邮件、内部简报等等。阅读是容易的部分。真正的工作是在阅读过程中进行一系列微小、重复的判断——过滤、解读、分段、识别有用信号所在。这些判断贯穿于投资者的日常工作流中，耗费大量时间。 我们想看看能否实现信息分类任务的自动化：识别哪些信息相关且值得阅读。仅此一点就能极大提升投资者的生产力，让他们将解放出来的注意力投入到更高层次的综合与决策中。 鉴于LLM在简单金融任务上表现不佳，我们提出了一个问题：能否教会LLM金融判断？我们发现，通过**高质量的人工标注**，我们可以教会LLM以专家级的品味和判断来解读文本。**我们专有的模型在信息准确率和召回率上优于我们测试过的所有前沿模型，而成本仅为它们的一小部分。** 我们描述了训练过程以及在已获准公开发布的数据子集上的结果。基于我们的结果，我们进一步描绘了一种**差异化智能**的愿景雏形，即根据特定组织需求定制的模型。 ## 前沿模型性能 我们在六项来自投资者日常工作流的信息过滤任务上评估了模型。除了这些任务，我们内部还有许多其他任务也显示出与这六项任务类似的模式：我们测试的前沿模型的表现不如我们内部训练的模型。 我们测量了准确率——即根据我们的投资者标注，文档被正确标记的百分比。对于分类任务，我们还计算了F1分数。F分数（https://en.wikipedia.org/wiki/F-score）（维基百科）。 01 金融文章相关性 给定一篇金融文章，判断其是否与一位C级投资专业人士相关。 评估指标 F1分数，准确率 02 央行文件相关性 给定一份央行文件，判断其是否预示未来利率变动方向。 评估指标 F1分数，准确率 03 通用文档相关性 给定一个投资者的问题和一份研究文档，判断该文档是否有助于回答该问题。 评估指标 F1分数，准确率 04 临时内容标注 研究文档要么是重复性的（重复的模板内容），要么是混合型的（模板内容加一次性、针对特定问题的分析）。判断属于哪一类，并找到针对性内容的最后一页。 评估指标 准确率 05 文档截断 识别文档中模板内容的起始位置。 评估指标 精确匹配准确率 06 邮件截断 识别邮件中模板内容的起始位置。 评估指标 精确匹配准确率 我们在本篇博文中评估的六项金融任务，每项都来自投资者的日常例行工作。这些任务对投资者来说轻而易举，但他们在阐述自己的决策过程时却会卡住。考虑下面的例子：判断一篇新闻文章是否与投资专业人士相关： 不相关 ft.com (https://www.ft.com/content/e021f12b-d2a0-4637-ac0f-4e3dae5a8843) 特朗普坚称格陵兰岛是他的 一篇关于特朗普和格陵兰岛文章的插图。 © Jeremy Banx 相关 ft.com (https://www.ft.com/content/b9ae2417-2e89-4b0a-bad5-d94f4e980ecc?syn-25a6b1a6=1) 特朗普威胁对中国加征新关税后美国股市大幅收低 交易员在标普500指数大幅下跌时在交易大厅做出反应。 自4月以来标普500指数最大单日跌幅，使持续数周的涨势戛然而止 © AFP/Getty Images 判断一篇金融文章与美国市场相关性的示例。来源：《金融时报》。考虑到文章背景，格陵兰的例子不太可能被认真对待，而中国关税的例子则高度相关。然而两个例子都涉及地缘政治和金融。 与我们的投资者相反，我们测试的前沿模型表现却出奇地差。Gemini、Claude和GPT的变体在仅给出执行六项任务的简单提示时，平均准确率仅约50%。 我们首先尝试通过更强的提示来改进LLM的性能。我们的专家基于真实任务描述撰写了指令，并建议对某些任务重新定义。例如，虽然一篇关于小型IPO的文章显然具有金融相关性，但它缺乏足够广泛的意义，不足以引起像桥水这样的宏观经济投资者的兴趣。当要求LLM将新闻故事分为三类：相关且有趣、相关但不有趣、不相关时，文章分类任务的性能有所提升。 这些改动将它们的准确率从抛硬币般的结果提升到了70%出头。通过自动提示优化方法，我们未能看到准确率的进一步提升。使用我们最好的提示，我们测试的前沿模型准确率仍低于80%——这是投资者期望在日常工作流中能够信赖的系统所应达到的阈值。 前沿模型在我们金融任务上的准确率与正类F1分数，经过手动和自动提示工程后。F1分数在我们3个分类任务上取平均值，准确率在所有6个任务上取平均值。我们的结果还表明，较新的模型在这项任务上并没有快速改进，尤其是考虑到单位美元成本。GPT 5.4的成本比5.2高出43%，但准确率仅略微提升。 一个显式的提示只能传达专家能够用语言表达的直觉，而最重要的判断往往最难用语言描述。微调绕过了这一限制：训练过程不是将专家的直觉强行塞入一个静态提示，而是让模型发展出自己的判断。我们能否训练开放权重模型，在这些任务上超越我们测试过的前沿模型？ ## 训练数据集构建 训练定制模型的第一个挑战是获取一个能够反映**高质量投资者品味**的数据集。特别是，许多信息只有通过投资专业人士的判断进行过滤后才具有价值。 我们最初从提供非专家标注的供应商处获取数据集。基于该数据集训练的模型表现仍然不佳。在检查模型的推理轨迹后，我们发现数据集中的标注经常是错误的。由于专家标注者成本高昂，我们设计了一种验证方案，仅将有争议的样本交由专家处理。 该方案的工作原理如下：我们在非专家标注者的数据集上训练一个模型，然后在相同数据上进行评估。模型答案与标注者答案不同的样本被发送给我们的专家进行重新评估——如果模型无法匹配其自身训练集中的某个样本，那么要么是样本本身确实困难，要么是原始标注错误。此过程用于清理训练集数据；最终评估是在一个保留的测试集上进行的。 ## 训练方案 我们使用Thinking Machines Lab的Tinker平台（https://thinkingmachines.ai/tinker/）训练了模型。Tinker使我们能够快速迭代，而无需担心GPU基础设施。 我们选择Qwen3-235B作为基础模型，因为其微调性能在学术界被广泛研究。 我们从标准的GRPO和重要性采样损失开始，作为一个简单、无评论家的起点。这种基线方法导致模型性能大幅提升，但仍未达到我们期望的80%阈值。 模型/训练方法 | 平均准确率 | 平均正类F1 --- | --- | --- Qwen基础模型 | 44.8% | 55.24% Qwen + GRPO | 73.48% | 88.95% 我们对训练方案进行了以下修改以进一步提升性能： ### 1. 交错批处理 对于我们的多任务训练方案，我们比较了三种批处理策略：按顺序训练每个任务、在批次内完全混合任务、以及以轮询方式按任务交替处理一个批次。我们发现交错批处理效果最好，相比完全混合批次，准确率提升了12.1%。 ### 2. 带非对称截断的CISPO损失 我们使用了带非对称截断的CISPO损失（https://arxiv.org/abs/2510.13786）（arXiv）来替代标准的重要性采样损失。在我们尝试的损失函数和截断方案中，这种方法表现最佳，相比重要性采样基线，准确率提升了10.1%。 ### 3. 带强教师的在线策略蒸馏 我们使用在线策略蒸馏（On-Policy Distillation（https://thinkingmachines.ai/blog/on-policy-distillation/），Kevin Lu与其他人合作（Thinking Machines））（OPD）进行训练，优势函数的构建如下： $$ r = \text{reward} - \beta \cdot \operatorname{avg}(\text{student\_lp} - \text{teacher\_lp}) $$ $$ \text{adv}_i = r_i - \operatorname{avg}(r) $$ 当学生分布偏离教师分布时，奖励会受到惩罚，从而在学习任务的同时对策略进行正则化。 每20步，我们将当前检查点提升为教师——但前提是验证准确率达到了新的高点，这样我们永远不会向一个较弱的模型进行蒸馏。这比使用冻结的基础模型教师进一步带来了3.1%的提升。 ## 结果 找到最佳训练方案需要对不同方法进行多次迭代。Tinker的可访问性让我们能够快速实验并优化方法。 我们训练模型与前沿模型的准确率与价格对比。我们的模型在两代产品中都在这两个维度上优于前沿模型。我们训练后的模型平均准确率从78.2%提升到84.7%，意味着训练后的模型比我们评估过的最佳前沿模型少犯29.8%的错误。我们发现这个准确率水平足以满足我们的日常工作需要。 由于模型规模较小，我们训练后的模型成本也大幅降低：每项任务的推理成本降低了13.8倍。随着我们计划依赖更多为特定任务训练的模型并在整个组织内规模化应用AI，成本是一个重要的考量因素。 我们对训练方案的每个部分进行了消融实验，以展示各部分对性能的贡献。 训练方法消融 | 平均准确率 | 平均正类F1 --- | --- | --- Qwen + 最终方案 | 84.66% | 92.99% 交错批处理 | 72.18% | 89.01% CISPO + 非对称截断 | 74.56% | 90.64% OPD | 72.39% | 87.93% OPD w/ 最优验证准确率教师 | 81.55% | 89.41% 每一行表示删除了单个组件的最终方案（留一法消融）。 ## 结论 我们测试的前沿模型在相对简单的金融任务上表现不佳，而且模型进步并未显著改善性能。相反，我们已经证明，**由专家投资者标注的高质量专有数据集**用于微调后，能够产生在我们任务上超越前沿性能的定制模型。我们发现，这一结论远远超出了本文讨论的六项任务。 除了更高的准确率，定制模型的成本也大幅降低。我们预计未来将从定制模型训练中获得更多生产力提升，尤其是随着像Tinker这样的训练基础设施能够实现快速实验。 我们的结果展示了差异化智能未来的可能性，即根据特定组织需求定制的模型能够超越前沿模型。 ## 引用 请按以下格式引用本工作： `` Su, Sarah; Zhu, Kevin; Xiao, Emily; Alur, Rohan; Kang, Daniel (Bridgewater AIA Labs)，"Learning to replicate expert judgment in financial tasks"， Thinking Machines Lab: News，2026年6月。 `` 或使用BibTeX引用： `` @article{su2026expertjudgment, author = {Sarah Su, Kevin Zhu, Emily Xiao, Rohan Alur, Daniel Kang (Bridgewater AIA Labs)}, title = {Learning to replicate expert judgment in financial tasks}, journal = {Thinking Machines Lab: News}, year = {2026}, note = {https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/} } ``