标签
本文介绍了吸引子模型,该模型利用定点求解和隐式微分进行高效的迭代优化,在降低计算成本的同时,实现了相较于传统Transformer更优的语言建模和推理性能。
本文提出了一种用于递归推理系统的认知状态图表示方法以及一种基于顺序间隙的终止标准,旨在解决如何管理不断演变的推理状态以及何时停止迭代的问题。
本文介绍了 WiCER,这是一种将领域知识编译到 LLM Wiki 系统中的迭代算法,旨在最大限度地减少知识蒸馏过程中的信息丢失和灾难性失败率。研究表明,与盲编译方法相比,该方法通过更好地保留关键事实,改进了全上下文 KV 缓存推理的效果。
这张图片的生成耗时约 11 分钟,期间它多次对自身输出进行审查和迭代。