标签
对压缩递归推理模型用于边缘硬件进行系统研究发现，激进量化会破坏全局推理，同时保留局部预测。该论文引入每通道校准的INT4以恢复推理能力，并提供了适配8 MB SoC和4 MB MCU目标的部署方案。
论文揭示了基于transformer的推理模型（TRMs）中的潜在推理实际上充当了策略改进算子，并提出了一种算法，将学习和推理效率提升高达18倍。
介绍RecToM，一种推理时框架，通过递归视角构建来建模嵌套信念，用于大语言模型的心理理论推理，在多个基准上取得了最先进的性能。
本文介绍了生成式递归推理模型（GRAM），这是一个概率框架，通过支持随机潜在轨迹、多个假设以及通过深度和并行采样实现推理时缩放，扩展了递归推理模型。
本文提出了一种用于递归推理系统的认知状态图表示方法以及一种基于顺序间隙的终止标准，旨在解决如何管理不断演变的推理状态以及何时停止迭代的问题。