标签
本文提出PALM，这是一种低秩适配器方法，可将金融语言模型适应到特定时间点，无需完全重新训练，从而减少金融回测中的前瞻偏差和计算成本。
本文证明，扩展时间点语言模型（仅基于每个日历日期之前可用的文本进行训练）可以显著缩小与无限制模型之间的性能差距，从而在金融和社会科学中实现有效的回测和因果推断。作者训练了多达40亿参数的仅解码器Transformer，使用1万亿按时间顺序过滤的token，并发布了完整流程。