@rohanpaul_ai:这在金融AI领域早该如此。让SEC文件对机器可读,同时不扁平化会计逻辑…

X AI KOLs Following 论文

摘要

来自斯坦福大学、加州大学和南京大学的研究人员发布了SEFD数据集,包含来自SEC文件的152B个词元,转换为保留布局的MultiMarkdown格式,保持表格结构用于LLM训练,且与Common Crawl的重叠很小。

这在金融AI领域早就需要了。 让SEC文件对机器可读,同时不破坏会计逻辑。 斯坦福大学、加州大学和南京大学的研究人员刚刚发布了一个数据集和方法,以更简洁的方式将SEC文件转化为有用的LLM训练数据,同时不丢失金融表格中的含义。 一个152B词元的公开快照,估计整个档案可能达到约550B词元的长期金融文档。 与源自Common Crawl的语料库重叠率低于0.1%。 作者提出了SEFD,这是EDGAR文件的重新构建版本,保留了表格结构、缩进和财务含义,同时使用更少的词元用于LLM训练。 该数据集将EDGAR转换为保留布局的MultiMarkdown,保留了合并的表头、缩进、符号、跨度和表格层级,同时将庞大的展示框架压缩为可用的词元。 ---- 链接 – arxiv.org/abs/2606.18192v1
查看原文
查看缓存全文

缓存时间: 2026/06/17 11:52

这在金融领域的AI中早就是迫切需要的。

让SEC文件对机器可读,同时不扁平化会计逻辑。

斯坦福大学、加州大学和南京大学的研究人员刚刚发布了一个数据集和方法,提供一种更清洁的方式,将SEC文件转化为有用的LLM训练数据,同时不丢失金融表格中的含义。

一个152B token的公开快照,据估计整个档案可能变成约550B token的长篇金融文档。

与Common Crawl衍生的语料库重叠度低于0.1%。

作者提出了SEFD,这是EDGAR文件的重建版本,保留了表格结构、缩进和金融含义,同时使用更少的token进行LLM训练。

该数据集将EDGAR转换为布局忠实的MultiMarkdown格式,保留了合并的标题、缩进、符号、跨度和表格层级,同时将庞大的展示框架压缩为可用的token。


链接 – arxiv.org/abs/2606.18192v1

相似文章

本周AI相关SEC重要备案

Reddit r/ArtificialInteligence

本文报道了近期SEC备案中披露的AI相关交易、投资和公告,涉及Microsoft、NVIDIA、CIBC等公司,显示AI在各个领域的角色正在扩大。

让您的金融应用/代理真正可信。

Reddit r/AI_Agents

Filing Studio的MCP工具能够将LLM输出中的金融数据追溯到SEC文件,从而提高金融应用的可信度,并通过使用JSON而非HTML来节省token。