capacity

本文研究了为什么更大的模型表现优于较小的模型，将其归因于梯度干扰减少和资源分配优化，这使得它们即使在无限数据下也能学习罕见且复杂的任务。在合成数据和OLMo模型上的实验验证了，更大的模型由于对常见任务的梯度更新较弱，能够避免覆盖罕见任务的特征。

Sam Altman宣布，一项提供计算能力的计划将持续至当前配额售罄，随后计划恢复，同时为ChatGPT和Codex保留容量。

Sam Altman宣布OpenAI的Guaranteed Capacity，提供1-3年承诺的折扣代币，为客户提供容量确定性。