QuantCode 模型:将语言模型专门化以生成可执行的算法交易代码
摘要
本文研究如何将大语言模型专门化,用于生成可执行的算法交易代码,表明以框架为导向的继续预训练,加上基于已验证「需求—代码」配对的监督微调,可大幅提升模型在 QuantCode-Bench 基准测试及智能体策略生成任务上的成功率,同时也揭示出一种能力保持失效现象:领域专门化会削弱结构化工具调用能力。
查看缓存全文
缓存时间: 2026/10/06 08:54
论文页面 - QuantCode Model:为可执行算法交易代码专门化语言模型
来源:https://huggingface.co/papers/2609.39420
摘要
大语言模型是强大的通用代码生成器,但可执行的算法交易仍是一个要求苛刻的专门化方向:模型必须将自然语言策略描述转化为适用于专用交易框架的正确程序逻辑,在历史数据上执行,产生交易结果,并在语义上忠实于用户请求。我们研究了两种互补机制,用于在这一场景下专门化语言模型:在算法交易框架代码上进行持续预训练,以及基于智能体验证的「请求到代码」配对数据进行监督微调(SFT)。评估以 QuantCode-Bench 为核心——我们针对 Backtrader 策略生成构建的包含 400 个任务的基准——并辅以一个类 SWE-bench 的仓库级测试轨道。持续预训练将 Qwen3.5-397B-A17B 的单轮 JudgePass 从 41.5% 提升至 47.5%,将 Qwen3.6-35B-A3B 从 27.8% 提升至 33.0%。在持续预训练之后应用 SFT 为 Qwen3.6-35B-A3B 带来了更大的提升,JudgePass 达到 58.2%,回测成功率达 83.5%;在智能体式评测中,它将首轮成功率从 22.3% 提升至 58.3%,并在最多 10 轮交互后将最终成功率从 47.5% 提升至 79.5%。仅进行持续预训练虽然提高了首轮智能体式成功率,却使修复后的最终成功率从 47.5% 降至 32.5%,这与指令遵循能力下降一致;而 SFT 则同时改善了两者。我们还识别出一种能力保持失效现象:领域专门化会损害符合解析器规范的结构化工具调用,针对性的恢复 SFT 能够修复工具调用的格式,但无法恢复基础检查点在仓库级智能体任务上的表现。这些结果表明,面向框架的预训练、经过验证的 SFT 以及显式的能力保持评估,各自解决了特定领域可执行代码生成中不同的失效模式。
查看 arXiv 页面 (https://arxiv.org/abs/2609.39420) 查看 PDF (https://arxiv.org/pdf/2609.39420) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.39420)
在你的智能体中获取本文:
hf papers read 2609.39420
还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用本文的模型 0
尚无模型关联本文
在模型 README.md 中引用 arxiv.org/abs/2609.39420,即可从此页面链接到它。
引用本文的数据集 0
尚无数据集关联本文
在数据集 README.md 中引用 arxiv.org/abs/2609.39420,即可从此页面链接到它。
引用本文的 Spaces 0
尚无 Space 关联本文
在 Space README.md 中引用 arxiv.org/abs/2609.39420,即可从此页面链接到它。
收录本文的合集 0
尚无合集收录本文
将本文添加到合集 (https://huggingface.co/new-collection),即可从此页面链接到它。
相似文章
QuantCode-Bench:评估大语言模型生成可执行算法交易策略能力的基准
# 论文页面 - QuantCode-Bench:评估大语言模型生成可执行算法交易策略能力的基准 来源:[https://huggingface.co/papers/2604.15151](https://huggingface.co/papers/2604.15151) ## 摘要 QuantCode\-Bench 通过测试大语言模型能否将自然语言描述转化为可在历史金融数据上正确运行的功能性代码,来评估其生成可执行交易策略的能力。
后训练语言模型在编程竞赛中实现金牌级表现
本文介绍了一种针对编程竞赛金牌表现的语言模型后训练专用化流程,通过监督微调和强化学习等技术,在IOI基准测试中取得高分。
优化模型以快速进行代码生成(8分钟阅读)
Morph LLC描述了三种关键技术——基于编码输出训练投机模型、在廉价GPU上自动搜索内核、以及编写自定义互连——以大幅加速像Qwen和DeepSeek这样的开放模型在编码代理工作负载上的运行,实现了最高3倍的投机解码加速,并在7000美元的GPU上达到97-162 tok/s。
我用4B参数模型构建的编码智能体在基准测试中达到87%,诀窍如下
作者构建了SmallCode,一个针对小型本地模型优化的编码智能体,通过复合工具、改进循环和令牌预算等技术,在4B参数模型上实现了87%的基准测试成功率。
CodeAlchemy:大规模合成代码重写
CodeAlchemy 是一个合成数据生成框架,通过五种策略将公开可用的代码转换为语义丰富的训练数据,生成超过5000亿个 token,使得小型模型在代码基准测试上超越大得多的模型。