因为世界知识问题而期待122B模型吗？
摘要
文章建议使用较小的4B大语言模型，结合Kiwix技能和本地Wikipedia，以避免关于世界知识的幻觉，而不是依赖更大的模型。
任何大语言模型都会产生世界知识的幻觉，即使是3T模型。使用一个4B模型，配合Kiwix技能和本地Wikipedia，50GB，就不会再有关于世界知识的幻觉了。让你的编程代理构建你自己的模型，遵循你的规则，并最终可以访问互联网知识，以获取实时更新的内容，如新闻，或Wikipedia上未公开的信息。
相似文章
LLM Wiki v2（16分钟阅读）
本文介绍了一种利用LLM构建个人知识库的模式，为在大语言模型辅助下进行知识管理提供了结构化方法。
理解LLM中新知识诱导的事实幻觉：分析与解释
本论文探究了在新知识上微调LLM如何诱导事实幻觉，研究表明特定知识类型内的陌生性通过削弱对关键实体的注意力来驱动幻觉。作者提议通过在后期训练阶段重新引入已知知识来缓解这一问题。
在研究中合乎道德地使用LLM的唯一方法是采用闭环LLM知识库。
文章认为，使用LLM进行研究需要一个闭环系统，如Karpathy的LLM Wiki或Recall AI知识库，以防止幻觉，确保所有输出都基于可信的源文档。
HalluWorld：基于参考世界模型的可控幻觉基准
HalluWorld 是一个可控基准框架，通过显式的参考世界模型在网格世界、国际象棋和实际终端任务等合成环境中评估大型语言模型中的幻觉。它可以细粒度分析各种故障模式，例如感知幻觉、多步状态追踪和因果模拟，揭示出前沿模型在处理扩展思维无法解决的复杂推理时仍然存在困难。
世界模型中的幻觉是可预测且可预防的
本文证明世界模型中的幻觉是一个数据覆盖问题，并提出基于数据的信号来检测它们，以及利用新的MMBench2数据集采用覆盖感知采样技术来减轻幻觉。