@rohanpaul_ai:这在金融AI领域早该如此。让SEC文件对机器可读,同时不扁平化会计逻辑…
摘要
来自斯坦福大学、加州大学和南京大学的研究人员发布了SEFD数据集,包含来自SEC文件的152B个词元,转换为保留布局的MultiMarkdown格式,保持表格结构用于LLM训练,且与Common Crawl的重叠很小。
查看缓存全文
缓存时间: 2026/06/17 11:52
这在金融领域的AI中早就是迫切需要的。
让SEC文件对机器可读,同时不扁平化会计逻辑。
斯坦福大学、加州大学和南京大学的研究人员刚刚发布了一个数据集和方法,提供一种更清洁的方式,将SEC文件转化为有用的LLM训练数据,同时不丢失金融表格中的含义。
一个152B token的公开快照,据估计整个档案可能变成约550B token的长篇金融文档。
与Common Crawl衍生的语料库重叠度低于0.1%。
作者提出了SEFD,这是EDGAR文件的重建版本,保留了表格结构、缩进和金融含义,同时使用更少的token进行LLM训练。
该数据集将EDGAR转换为布局忠实的MultiMarkdown格式,保留了合并的标题、缩进、符号、跨度和表格层级,同时将庞大的展示框架压缩为可用的token。
链接 – arxiv.org/abs/2606.18192v1
相似文章
@rohanpaul_ai:哈佛大学、MIT等实验室的新论文展示了自我提升金融AI的更清晰路径:让代理从SEC……学习
哈佛大学、MIT等实验室的一篇新论文介绍了FINSKILLOPS,这是一种方法,使金融AI代理能够持续从SEC文件错误中学习,同时使用回归测试来保持正确性并安全更新技能。
免训练、免对齐的企业智能方法:应用于SEC文件
论文提出了一种免训练且免对齐的企业智能方法,使用确定性稀疏种子向量来分析SEC文件,无需大型语言模型即可实现高效的文档比较和语义事件检测。
解决金融数据缺失危机:面向 SEC 10-K 文件提取的生成式 AI 流水线
该研究评估了 Llama-3 8B、Qwen-2.5 14B 和 Llama-3.3 70B 等 LLM 在从 SEC 10-K 文件中提取财务数据时的表现,发现将模型规模与文档结构复杂度对齐可在零样本设置下获得高准确率,从而缓解量化金融数据集中超过 70% 公司面临的缺失数据偏差问题。
本周AI相关SEC重要备案
本文报道了近期SEC备案中披露的AI相关交易、投资和公告,涉及Microsoft、NVIDIA、CIBC等公司,显示AI在各个领域的角色正在扩大。
让您的金融应用/代理真正可信。
Filing Studio的MCP工具能够将LLM输出中的金融数据追溯到SEC文件,从而提高金融应用的可信度,并通过使用JSON而非HTML来节省token。