ChatGPT 的硬性对话长度限制是其最令人沮丧的用户体验问题之一——即使在专业版上

我一直重度使用 ChatGPT 进行长期项目、研究、比较、计划任务、文档分析以及需要在数周或数月内演进的对话。有一件事持续让我抓狂：ChatGPT 最终会判定对话变得过长，并告诉您：“您已达到此对话的最大长度，但可以通过开始新聊天继续交谈。” https://i.postimg.cc/4NZK9HCz/content 然后您会看到“开始新聊天”按钮。我有这个确切警告的截图，所以这不是假设情况。 更让我沮丧的是，付费使用更昂贵的 ChatGPT 订阅并未从根本上解决这个问题。我使用 ChatGPT Pro，其使用配额和上下文容量远超较便宜的计划，但我仍需在脑中记住，长期对话最终可能撞墙。这就造成了一个奇怪的情况。我不再只考虑手头的工作，有时会想：“这个聊天有多长了？”“我是否快接近 ChatGPT 终止此线程的点？”“我是否应该在发生事情前手动总结所有内容？”“我现在是否应该创建另一个聊天，即使这个聊天目前包含我所需的所有上下文？” 这不是持久 AI 工作区应有的感觉。我想在这里做一个重要区分。我并非要求 OpenAI 创建一个字面意义上无限的模型上下文窗口。我理解模型具有有限的上下文窗口。我理解您不一定能在每次响应中将六个月对话历史中的每个令牌都输入模型。这不是问题所在。问题在于对话连续性。 现代 AI 平台应该能够区分这两个概念：模型在一次响应中主动处理的信息量是有限的。用户对话或工作区的生命周期不应该有限。ChatGPT 应该在对话增长时自动压缩较旧部分。例如，想象一个包含数月内 10,000 条消息的对话。最新消息可以保留在活动上下文中。较旧部分可以逐步转换为结构化摘要，包含决策、重要事实、偏好、被拒绝的替代方案、未解决的问题、使用的文件、结论和重要例外。 原始消息仍应可供用户访问。当旧细节突然再次相关时，ChatGPT 应该能够检索原始部分，而不是仅依赖摘要。用户永远不必关心底层实现是使用一个物理上下文窗口、十个上下文窗口、检索、摘要、嵌入还是其他架构。从用户的角度来看，它应该仍然是一个对话。这很重要。 当前的硬墙方法对那些不将 ChatGPT 视为一次性问答机器人的人来说尤其痛苦。以下是我做的一些工作类型的真实示例。我有长期的 AI 平台比较对话，其中需求随时间演变。我可能比较 ChatGPT、Manus AI、Claude、Grok、Google 工具和其他平台，然后逐渐完善我对 AI 平台的实际需求。一个月我可能认为 Google Drive 集成至关重要。后来我可能发现自动上下文管理更重要。再后来我可能因为平台的计划任务不符合我的要求而拒绝它。 这些不是孤立的问题。它们形成了一个决策历史。开始一个全新的聊天并告诉新对话“这是我们讨论内容的摘要”并不等同于保留该历史。另一个例子是长期产品演进跟踪器。我使用对话和计划任务来跟踪 ChatGPT 和 Manus AI 等产品如何随时间演进。整个重点是连续性。八月的结论可能只有在七月发现某事时才有意义。六周前看起来有前途的功能后来可能暴露出一个重要的限制。 如果对话最终达到硬限制，我被迫手动将累积的历史移植到另一个线程中。这正是 AI 本身应该为我执行的记忆管理。另一个例子是涉及许多文档、PDF、截图、电子邮件、比较和先前结论的大型研究或管理项目。重要信息不仅仅是最近的消息。有时最重要的细节是五六十条消息前提到的内容。有时较早的文档与较新的文档矛盾。有时我几周前因特定原因故意拒绝了一个选项。 新聊天可能知道主要结论，但忽略了产生它的细微之处。构建大型项目时也存在同样的问题。想象一下花数月时间与 ChatGPT 设计一个应用程序。随着时间的推移，您做出架构决策。您拒绝某些技术。您建立命名约定。您识别错误。您创建需求。您更改这些需求。您发现绝对不能更改的内容。您积累了大量的项目历史。然后有一天：达到最大对话长度。开始新聊天。说真的？ 我个人最糟糕的经历是在 ChatGPT 生成重要工作时达到一个非常长的对话的尽头。当对话达到限制并被迫进入另一个聊天时，即使最新的输出也可能变得有问题或有效地从您的工作流中消失。当响应花费了大量时间生成或包含您特别想要保留的信息时，这非常令人沮丧。至少，对话长度限制绝不应该能够将最近生成的答案置于风险之中。先保存输出。然后处理上下文管理。 但我认为 OpenAI 应该做得更远。我希望 ChatGPT 能够自动管理长对话的生命周期。在对话接近其内部限制之前，ChatGPT 可以悄悄开始准备一个结构化检查点。重要决策将被保留。开放问题将被保留。用户偏好和明确要求将被保留。相关文件引用将被保留。被拒绝的选项及其被拒绝的原因将被保留。重要结论将被保留。最近的对话历史将保留原文。较旧的对话历史可以压缩。原始消息仍可搜索和恢复。 如果后台必须创建另一个内部对话容器，没问题。我真的不在乎。只是不要让用户为此管理问题。界面可以继续显示完全相同的对话，而 OpenAI 透明地将底层上下文滚动到另一个容器中。对我来说，这将是真正的自动对话压缩。我实际上希望对此有一些透明度。例如，ChatGPT 可以显示一些微妙的内容，如：“较旧的上下文已被压缩。42 个重要决策和 17 个开放项目正在保留。”如果我想，让我检查那个摘要。如果 ChatGPT 摘要错误，让我纠正某些内容。让我将某些消息标记为“永不压缩”。让我固定重要决策。让我告诉 ChatGPT 一个 PDF 或一条消息对整个项目至关重要。如果出现问题，让我恢复早先的检查点。 这比突然抛出红色警告并告诉我从其他地方开始要好得多。我还希望有一个对话容量指示器。它不必显示令牌。大多数普通用户并不关心令牌。