标签
本文确立了将生成模型确定性封装到传统计算系统的基础原则，定义了四个原语和两种反模式，以降低AI集成的风险。
本文形式化了概率标签排序的校准定义，引入了校准概念的层次结构，并表明常见模型校准不佳。进一步展示了在RLHF奖励模型中的应用，其中校准与准确性相关但不完全相同。
CobwebTM是一种低参数的终身分层主题建模方法，将Cobweb算法应用于连续文档嵌入，实现无监督主题发现和动态分层组织，无需预定义主题数量。该方法将增量符号概念形成与预训练表示相结合，在避免灾难性遗忘的同时实现强大的主题一致性。
OpenAI 提出了基于能量的模型 (EBM) 的隐式生成和泛化方法，该方法使用 Langevin 动力学进行迭代优化以生成样本，无需显式生成器网络。该方法具有多个优势，包括自适应计算时间、学习不连通数据模式的灵活性，以及通过专家乘积实现的内置组合性。