icl

本线程介绍了关于是否能在不破坏模型的情况下将新事实添加到大语言模型权重中的研究，结果发现模型会意外地崩溃，这使得压缩KV缓存和上下文学习在持续学习中更具前景。

本文揭示了一个反直觉的现象：语境学习中的正确示例反而可能降低模型准确率，并引入任务保持扰动来研究示例正确性与实用性之间的差距。