缩放定律、表格数据与精算费率制定模型

# 扩缩放规律、表格数据与精算费率制定模型

来源：https://arxiv.org/html/2609.03106  
Ronald Richman  
2026年5月1日版本

###### 摘要
现代深度学习中的扩缩放规律描述了随着模型容量、训练数据和计算量增加，保留集损失如何改善，通常遵循幂律趋势。我们研究在精算费率制定中是否出现类似的扩缩放规律性，其中数据是表格化的、异构的且有噪声的，而广义线性模型等经典模型仍是强有力的基线。我们使用一个真实的汽车保险组合，针对不同模型族，在递增的训练数据比例和多个随机种子下进行训练，评估样本外泊松偏差（一种基于似然的泊松计数预测损失，数值越低表示保留集拟合越好）。我们发现，所有模型族都随数据增加而改善，但扩缩放指数存在显著差异：TabM展现出比纯监督的表格Transformer和标准MLP基线更强的数据扩缩放能力。Transformer变体表现出较弱的参数扩缩放，除非结合额外的归纳偏置（如TabM风格的适配或自监督）。这些结果为根据数据范围选择模型提供了量化指导，并表明在精算表格任务上的有效扩缩放取决于架构和损失函数目标设计，仅简单增加Transformer规模带来的收益有限。

关键词：扩缩放规律；表格数据；精算费率制定；泊松偏差；Transformer；专家混合；表示学习。

## 1 引言

一个自然的精算直觉是，随着可用于模型拟合的可信数据量增加，模型性能会提升。更多数据允许更准确地估计模型参数，从而产生更精确的预测。这种关系在精算费率制定中尤为明显，其中大规模且多样化的数据集能够构建更可靠的定价模型。当然，也存在根本限制——某些业务线的高度波动索赔或快速变化的市场趋势可能会限制额外数据的收益。然而，这种直觉在准备金评估和定价应用中都与实践经验相符。

一个相关的直觉是关于额外数据的边际收益。对于费率制定中使用的传统精算模型，似乎存在一个“饱和点”，超过该点后，额外数据带来的模型性能改善微乎其微。相比之下，机器学习和深度学习方法可能在远超过这一饱和阈值后仍能从额外数据中受益。换句话说，收益递减的出现点可能从根本上取决于所使用的模型类别。

最后一种直觉是，模型通常受益于能够捕捉问题结构和细微差别的额外复杂性，然而，超过某一点后，额外复杂性可能导致模型性能不佳，除了其他缺点，如维护高度复杂模型的困难。

本文的目标是量化这些直觉，并将其与机器学习文献中的扩缩放规律领域联系起来。这一框架为理解和预测模型性能如何随关键资源演变提供了一种有原则的方法。本文将该框架应用于精算费率制定模型，利用表格数据和机器学习的最新进展，开发一种有原则的方法来理解模型性能如何随关键建模选择和数据可用性而演变。

扩缩放规律的概念因大语言模型的相关工作而日益突出。Kaplan等人（2020年）和Hoffmann等人（2022年）表明，在很宽的范围内，保留集损失（模型性能）通常可以用关键资源的幂律改善来描述。扩缩放规律的一种常见形式是不可约损失加上加性幂律项：

\[
L(P, N, C) \approx L_{\infty} + A_P P^{-\alpha_P} + A_N N^{-\alpha_N} + A_C C^{-\alpha_C}
\]

其中 \(P\) 是模型参数数量，\(N\) 衡量训练数据大小，\(C\) 衡量训练计算量；\(A_P\)、\(A_N\) 和 \(A_C\) 是针对参数、数据和计算项拟合的振幅常数；\(L_{\infty}\) 表示经验性能下限；\(\alpha_P, \alpha_N, \alpha_C\) 量化了每种资源扩缩放的边际收益。值得注意的是，这些扩缩放规律已被证明适用于广泛的模型类别和任务，特别是大语言模型中使用的大规模解码器Transformer模型。

自然会产生这样的问题：尽管精算费率制定的数据范围较小，且协变量具有噪声和异构结构，但类似的扩缩放规律性是否也支配着精算费率制定模型？我们将在第3节回顾扩缩放规律文献及其对表格精算任务的潜在挑战。

尽管存在这些挑战，有令人信服的理由预期在精算建模中可能存在某种形式的扩缩放行为。扩缩放规律的基本见解——模型性能受模型容量、数据量和计算资源之间相互作用的限制——并非语言建模所特有。事实上，上述精算直觉恰恰表明了这一点。此外，经典统计理论为理解参数估计如何随样本量改进提供了基础，而精算科学中的信度理论早已形式化了数据量与估计可靠性之间的关系。问题在于，这些关系能否统一并扩展到涵盖现代精算师可用的整个模型谱系，从传统的广义线性模型到复杂的深度学习架构。

在本文中，我们通过在大规模真实汽车保险数据集上进行实验，对精算费率制定模型的扩缩放规律进行了实证研究。我们特别关注索赔频率，因为每个保单期间记录都会观察到索赔计数，而严重程度仅对较小的有索赔记录子集观察；因此，频率任务更适合跨数据、参数和计算范围的扩缩放规律实验。在我们的实验中，“数据大小”通过训练所使用的保单期间记录数（行数）来操作化（相应的总曝光年数作为“样本数量”的精算类比）。

我们重点关注两大类模型，以代表模型复杂度谱系的两端：(i) 统计模型，包括广义线性模型及其正则化变体；(ii) 深度学习模型，包括前馈神经网络和更高级的架构如Transformer¹¹¹我们注意到，诸如梯度提升机之类的中间方法介于两者之间，我们留待未来研究。对于每个模型类别，我们检查当系统地增加训练数据量时，由泊松偏差损失衡量的样本外预测性能如何变化。

泊松偏差是该频率研究的自然度量标准，因为响应变量是索赔计数，每个预测都是经过曝光调整的泊松均值。在指数族似然框架中，偏差是饱和对数似然与拟合模型对数似然之差的两倍，因此平均泊松偏差的减少可直接解释为每个保单的平均保留集对数似然增益。因此，我们使用泊松偏差作为扩缩放规律估计的统计损失，同时认识到将此类增益转化为保费充足性、赔付率或利润需要超出频率模型本身的额外定价假设。

我们的研究由几个研究问题指导。首先，我们能否识别出不同的数据范围——小、中、大——其中不同的模型类别是最优的？我们假设在小型数据范围内（例如，少于100,000曝光年），广义线性模型可能是最优的，而在大型数据范围内，深度学习模型可能是最优的，因为它们将模型容量与数据一起扩展的能力变得有利。

其次，对于每个模型类别，增加数据的收益在什么数据规模开始递减？理解这些饱和点对于确定如何为构建精算模型选择数据以及根据可用数据量选择模型类别具有重要的实际意义。

第三，我们能否推导出类似于为大语言模型发现的显式幂律关系？如果可以，相关的指数是什么？最后，这些问题的特性如何影响这些关系，例如费率因子的数量、信噪比和时间趋势的存在？

正如我们将看到的，解决这些问题也让我们审视为什么某些架构，特别是Transformer，在精算环境中可能无法扩展，并开发一些新的解决方案。

回答这些问题需要仔细的实验设计。一个关键挑战是，与大语言模型不同，在大语言模型中可以通过从庞大的文本语料库中简单采样更多数据来进行扩缩放实验，而精算数据集是有限的且其特征是固定的。我们通过从可用数据中逐步采样更大的子集来解决这个问题，确保样本代表整个数据集。我们还控制了混淆因素，如协变量数量和费率结构的复杂性。

本文的贡献有四方面。首先，我们首次对精算费率制定模型的扩缩放规律进行了系统的实证研究，确定性能是否以及如何在不同模型类别中随数据规模扩展。其次，我们为精算师的模型选择提供了实用指导，确定了每个模型类别可能最优的数据范围。第三，我们推导出观察到的扩缩放关系的显式函数形式，使精算师能够根据可用数据预测模型性能。第四，在实验过程中，我们诊断出一些阻止应用于费率制定的Transformer模型扩展的问题，并据此开发了几种新的费率制定模型。

除了方法论贡献外，我们的发现对精算实践和监管治理具有重要意义。随着保险公司越来越多地采用复杂的预测模型，监管机构加强了对这些技术的审查，引发了关于适当模型复杂性、数据要求和验证标准的问题。数据量与模型性能之间可量化的扩缩放关系可以为方法选择提供有原则的理由，为内部模型治理框架和监管讨论提供信息。例如，如果我们能确定某个模型类别需要最小训练规模 \(N_{\min}\)（以保单期间行数或曝光年数衡量）才能实现可靠的样本外性能，那么这个阈值就成为模型选择和验证的可辩护标准。同样，理解性能随额外数据改善的速率，以扩缩放指数为特征，使保险公司能够就数据收集与模型开发的投资做出明智决策，优化预测建模工作中的资源分配。

### 1.1 作为精算扩缩放规律的信度

信度理论可以被视为一种早期的精算扩缩放规律。在Bühlmann–Straub框架中，信度因子 \(Z(n)\) 随曝光量 \(n\) 增加而增加：

\[
Z(n) = \frac{n}{n + k}
\]

其中 \(k\) 是组内与组间方差比（“信度常数”）。考虑*距完全信度的距离*，而不是 \(Z\) 本身：

\[
1 - Z(n) = \frac{k}{n + k}
\]

在大型曝光范围（\(n \gg k\)）中，这变为：

\[
1 - Z(n) \approx k/n \propto n^{-1}
\]

即信度意味着一旦曝光量大大超过 \(k\)，残余不确定性呈幂律衰减。经典信度与现代神经扩缩放规律之间的有用区别在于，现代扩缩放规律工作经验性地估计改进速率。在诸如 \(L(N) - L_{\infty} \approx A_N N^{-\alpha}\) 的关系中，拟合的指数 \(\alpha\) 是可约损失随数据增加而下降速度的实验特定的、有效的摘要；它可能因模型类别、任务、度量标准和数据范围而异。我们的经验扩缩放分析使用类似的“距渐近线距离”框架。令 \(L(N)\) 表示在 \(N\) 行上训练的模型的测试泊松偏差（以总曝光年数作为样本数量的精算类比），令 \(L_{\infty}\) 表示经验拟合的性能下限。定义*可约损失*：

\[
U(N) := L(N) - L_{\infty}
\]

等价地，经验拟合使用 \(U(N) \approx A_N N^{-\alpha}\)，其中 \(A_N\) 记录所选行计数约定下的拟合距离下限尺度。在这个视角下，\(\alpha\) 充当组合层面的“信度速度”参数：较大的 \(\alpha\) 意味着性能随数据增长更快地接近拟合下限。这表明可以得到一个直接从扩缩放拟合中推导出的信度风格曲线。固定一个基线 \(N_0\)（例如，最小的训练比例）并定义：

\[
Z_{\text{scale}}(N) := 1 - \frac{U(N)}{U(N_0)} = 1 - \frac{L(N) - L_{\infty}}{L(N_0) - L_{\infty}}
\]

在幂律下：

\[
Z_{\text{scale}}(N) \approx 1 - (N/N_0)^{-\alpha}
\]

当 \(N \to \infty\) 时，它从在 \(N_0\) 处的 0 增加并接近 1。同样，“最小可信数据”要求可以通过选择一个容差 \(\delta\) 并求解 \(L(N) \leq L_{\infty} + \delta\) 来表达，得出：

\[
N \geq (A_N/\delta)^{1/\alpha}
\]

这直接类似于在经典信度中求解 \(n = kZ/(1-Z)\)。最后，Bühlmann–Straub 与幂律扩缩放之间的一个简单插值是广义曲线：

\[
Z_\alpha(n) := n^\alpha / (n^\alpha + k^\alpha)
\]

当 \(\alpha=1\) 时它恢复经典公式，并满足对于 \(n \gg k\)，\(1 - Z_\alpha(n) \sim (k/n)^\alpha\)。

更广泛地说，精算师已经遇到许多扩缩放关系——例如，泊松费率和广义线性模型系数的标准误随曝光量或样本量的 \(-1/2\) 次方而缩小，蒙特卡洛误差随模拟抽取次数的 \(-1/2\) 次方衰减。我们的贡献是将这些扩缩放关系明确化，适用于现代表格模型族，经验性地估计相应的指数，并将它们与模型何时...的实际问题联系起来。