标签
本文形式化了LLM维基的流式知识编译，引入了一个重要性信号，用于在token预算下从流式语料库中主动固定重要文档。它证明了O(√(T log K))的遗憾界，并在金融和维基百科领域验证了该方法，表明遗憾分析是一种可靠的评估指标。
本文介绍了 WiCER，这是一种将领域知识编译到 LLM Wiki 系统中的迭代算法，旨在最大限度地减少知识蒸馏过程中的信息丢失和灾难性失败率。研究表明，与盲编译方法相比，该方法通过更好地保留关键事实，改进了全上下文 KV 缓存推理的效果。
本文介绍了认知智能体编译（CAC），这是一个利用教师大语言模型（Teacher LLMs）将问题求解知识编译为显式、可检查智能体的框架，专用于教育应用。该框架旨在通过将知识表示与策略及验证规则分离，解决标准大语言模型中缺乏可控性和可解释性的问题。