标签
这篇 ICAIF '26 论文研究了在 GPT-OSS-20B 上用于多步金融推理的事后自蒸馏，发现一条固定的通用反馈语句能达到与模型自行撰写的批评意见相当的约 3 个百分点的提升，这表明事后蒸馏中的位置信息降低了对特权反馈的需求。
该论文提出 Fin-SD（hindsight self-distillation），一种无需外部教师模型的本地化自蒸馏方法，用于提升小型开放权重模型的多步金融推理能力；实验发现增益主要来自监督位置而非提示内容，且与基于完整参考解答的自蒸馏精度相当但少生成 9.5% token。
提出 Hindsight Structured Advice Distillation（HSAD，后见结构化建议蒸馏），使用一个小型顾问模型根据输入生成结构化建议，并将其注入冻结的执行智能体提示中；通过分析执行失败与任务特征，对顾问模型进行监督微调训练。在 FrontierFinance 基准上，将 Samaya 研究智能体的合格率从 52.9% 提升至 56.6%，且成本更低，并在 WebShop、BIRD 和 ExpertLongBench 上验证了其泛化能力。
本文介绍了一种数据中心化的流水线，用于通过挖掘推理轨迹、蒸馏指令数据和生成可验证的问答对来对语言模型进行后训练，以增强金融推理能力，展示了在防止灾难性遗忘的同时性能得到提升。
本文提出了HSDN，一种分层语义蒸馏网络，用于压缩金融任务中的思维链推理，在AFAC2025基准测试中实现了91.0%的准确率和68.4%的压缩率。
介绍了FinIndices，一个大规模基准测试，用于评估LLM在未裁剪财务报表上的数据处理保真度，揭示了财务推理中的知识瓶颈和结构瓶颈。
MacroLens 是一个用于上下文金融推理的新型多任务基准，它联合评估了价格历史、会计基本面、宏观经济体制以及文本数据，覆盖 4,416 只美国小盘股和微盘股。该基准包含七个任务、1,130 个宏观经济事件，并对 19 种方法进行了评估，旨在填补金融 AI 评估中的空白。
FinAcumen是一个框架，它将先前轨迹中的推理经验累积到持久记忆库中，用于金融多模态推理，在四个基准测试上提升了性能，同时保持冻结的8B视觉语言模型不变。