QuantCode 模型:将语言模型专门化以生成可执行的算法交易代码

Hugging Face Daily Papers 论文

摘要

本文研究如何将大语言模型专门化,用于生成可执行的算法交易代码,表明以框架为导向的继续预训练,加上基于已验证「需求—代码」配对的监督微调,可大幅提升模型在 QuantCode-Bench 基准测试及智能体策略生成任务上的成功率,同时也揭示出一种能力保持失效现象:领域专门化会削弱结构化工具调用能力。

大语言模型是强大的通用代码生成器,但可执行的算法交易仍然是一个要求苛刻的专门化目标:模型必须将自然语言描述的策略需求转换为针对专用交易框架的正确程序逻辑,在历史数据上执行、产出交易记录,并在语义上忠实于原始需求。我们研究了两种用于让语言模型适配这一场景的互补机制:在算法交易框架代码上进行继续预训练,以及在经智能体验证的「需求—代码」配对上进行监督微调(SFT)。评估以 QuantCode-Bench 为核心——这是我们提出的包含 400 个任务的 Backtrader 策略生成基准,同时还包括一条类似 SWE-bench 的仓库级评测赛道。继续预训练将 Qwen3.5-397B-A17B 的单轮 Judge Pass 率从 41.5% 提升至 47.5%,将 Qwen3.6-35B-A3B 从 27.8% 提升至 33.0%。在继续预训练之后再进行 SFT,对 Qwen3.6-35B-A3B 产生更大的收益,Judge Pass 达到 58.2%,成功回测率达到 83.5%;在智能体评测中,首轮成功率从 22.3% 提升至 58.3%,最多 10 轮后的最终成功率从 47.5% 提升至 79.5%。仅进行继续预训练虽能提升智能体任务的首轮成功率,但将修复后的最终成功率从 47.5% 降至 32.5%,这与指令遵循能力的退化相一致,而 SFT 则同时提升了两者。我们还识别出一种能力保持失效现象:领域专门化会削弱符合解析器规范的结构化工具调用能力,而针对性的恢复性 SFT 能够恢复工具调用的格式,却无法恢复基线检查点在仓库级智能体任务上的性能。这些结果表明,面向框架的预训练、经过验证的 SFT 以及显式的能力保持评估,能够分别应对领域专用可执行代码生成中的不同失败模式。
查看原文
查看缓存全文

缓存时间: 2026/10/06 08:54

论文页面 - QuantCode Model:为可执行算法交易代码专门化语言模型

来源:https://huggingface.co/papers/2609.39420

摘要

大语言模型是强大的通用代码生成器,但可执行的算法交易仍是一个要求苛刻的专门化方向:模型必须将自然语言策略描述转化为适用于专用交易框架的正确程序逻辑,在历史数据上执行,产生交易结果,并在语义上忠实于用户请求。我们研究了两种互补机制,用于在这一场景下专门化语言模型:在算法交易框架代码上进行持续预训练,以及基于智能体验证的「请求到代码」配对数据进行监督微调(SFT)。评估以 QuantCode-Bench 为核心——我们针对 Backtrader 策略生成构建的包含 400 个任务的基准——并辅以一个类 SWE-bench 的仓库级测试轨道。持续预训练将 Qwen3.5-397B-A17B 的单轮 JudgePass 从 41.5% 提升至 47.5%,将 Qwen3.6-35B-A3B 从 27.8% 提升至 33.0%。在持续预训练之后应用 SFT 为 Qwen3.6-35B-A3B 带来了更大的提升,JudgePass 达到 58.2%,回测成功率达 83.5%;在智能体式评测中,它将首轮成功率从 22.3% 提升至 58.3%,并在最多 10 轮交互后将最终成功率从 47.5% 提升至 79.5%。仅进行持续预训练虽然提高了首轮智能体式成功率,却使修复后的最终成功率从 47.5% 降至 32.5%,这与指令遵循能力下降一致;而 SFT 则同时改善了两者。我们还识别出一种能力保持失效现象:领域专门化会损害符合解析器规范的结构化工具调用,针对性的恢复 SFT 能够修复工具调用的格式,但无法恢复基础检查点在仓库级智能体任务上的表现。这些结果表明,面向框架的预训练、经过验证的 SFT 以及显式的能力保持评估,各自解决了特定领域可执行代码生成中不同的失效模式。

查看 arXiv 页面 (https://arxiv.org/abs/2609.39420) 查看 PDF (https://arxiv.org/pdf/2609.39420) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.39420)

在你的智能体中获取本文:

hf papers read 2609.39420

还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

尚无模型关联本文

在模型 README.md 中引用 arxiv.org/abs/2609.39420,即可从此页面链接到它。

引用本文的数据集 0

尚无数据集关联本文

在数据集 README.md 中引用 arxiv.org/abs/2609.39420,即可从此页面链接到它。

引用本文的 Spaces 0

尚无 Space 关联本文

在 Space README.md 中引用 arxiv.org/abs/2609.39420,即可从此页面链接到它。

收录本文的合集 0

尚无合集收录本文

将本文添加到合集 (https://huggingface.co/new-collection),即可从此页面链接到它。

相似文章

QuantCode-Bench:评估大语言模型生成可执行算法交易策略能力的基准

Hugging Face Daily Papers

# 论文页面 - QuantCode-Bench:评估大语言模型生成可执行算法交易策略能力的基准 来源:[https://huggingface.co/papers/2604.15151](https://huggingface.co/papers/2604.15151) ## 摘要 QuantCode\-Bench 通过测试大语言模型能否将自然语言描述转化为可在历史金融数据上正确运行的功能性代码,来评估其生成可执行交易策略的能力。

优化模型以快速进行代码生成(8分钟阅读)

TLDR AI

Morph LLC描述了三种关键技术——基于编码输出训练投机模型、在廉价GPU上自动搜索内核、以及编写自定义互连——以大幅加速像Qwen和DeepSeek这样的开放模型在编码代理工作负载上的运行,实现了最高3倍的投机解码加速,并在7000美元的GPU上达到97-162 tok/s。

CodeAlchemy:大规模合成代码重写

arXiv cs.CL

CodeAlchemy 是一个合成数据生成框架,通过五种策略将公开可用的代码转换为语义丰富的训练数据,生成超过5000亿个 token,使得小型模型在代码基准测试上超越大得多的模型。