标签
本文提出了一种基于检索的小型语言模型框架,将形式概念分析用作本体构建的符号验证循环,并在罕见共济失调场景中展示了其有效性。
ContextRAG引入了一种无抽取方法,用于构建面向检索增强生成的层次图索引。该方法利用残差量化K均值(Residual-Quantization K-Means)和形式概念分析(Formal Concept Analysis),将大语言模型(LLM)调用和Token数量减少数个数量级,同时在多跳问题上保持具有竞争力的F1分数。