AI是否真的在长对话中更好地理解上下文，还是仍然容易失效？

近期偏差问题真实存在，而且是与这些模型日常打交道时最令人沮丧的事情之一。你在对话开始时仔细地阐述自己的情况，但十个来回之后，模型给出的建议却与你最初告诉它的内容直接矛盾。上下文窗口的增长确实很有用，但你说的没错，原始长度和实际理解是两回事。一个理论上可以“看到”20万令牌的模型，并不一定平等地对待所有令牌。实际上，随着对话的累积，较早的内容会被降权处理。这是否源于Transformer注意力权重分配的结构性问题，还是可以通过更好的训练来解决，我认为目前还没有明确的答案。可能两者都有。RAG充其量只能算是一个部分的解决方案。它在特定场景下（比如从结构化知识库中检索信息）会有所帮助，但并不能真正解决模型在同一对话中忘记你三分钟前告诉它的内容的问题。对我有效的方法是：定期明确重申核心约束，尤其是在提出依赖这些约束的问题之前。不需要长篇总结，只需在相关提问前快速说一句“记住这里的目标是X”。虽然不得不这样做很烦人，但确实有帮助。有些人还会在开始长项目时，在每次会话开始时粘贴一份简短的“上下文文档”，从而完全绕开性能下降的问题。这到底重不重要，取决于你用它来做什么。对于快速独立的任务，基本上无关紧要。对于需要在长时间工作会话中维持复杂心智模型的任务，这确实是一个真正的局限，而且我认为承认这一点并没有夸大问题的严重性。