hierarchical-modeling

MOSAIC是一种新颖的框架，利用冻结的大语言模型生成语义嵌入和层次化预测提示用于知识追踪，在多个基准上取得了最先进的结果。

本文研究了在EHR基础模型中显式编码ICD-10-CM层级结构的方法，采用层级令牌增强和基于图结构的代码表示。在MIMIC-IV和eICU上的实验表明，与扁平代码表示相比，该方法在域内和跨数据集预测任务中均有改进。

Re2Pix 是一个分层视频预测框架，通过首先使用冻结的视觉基础模型预测语义表征，然后将这些预测作为条件输入到潜在扩散模型中以生成逼真的帧，从而改进未来视频生成。该方法通过嵌套丢弃和混合监督策略解决了训练-测试不匹配问题，在自动驾驶基准测试中实现了更好的时间语义一致性和感知质量。