@FinanceYF5: 大家都在吹百万token上下文,但Prime Intellect一位工程师说了句大实话: GPT-5.5在256k时检索准确率80%,拉到一百万直接掉到36%。模型不是装不下,是装进去了推理不动——所谓的context rot。 为什么更…
摘要
Prime Intellect工程师指出,大语言模型如GPT-5.5在百万token上下文时检索准确率从256k时的80%降至36%,表明存在“context rot”问题,即模型能容纳但无法有效推理长上下文,对Agent应用构成挑战。
查看缓存全文
缓存时间: 2026/07/14 06:17
大家都在吹百万token上下文,但Prime Intellect一位工程师说了句大实话:
GPT-5.5在256k时检索准确率80%,拉到一百万直接掉到36%。模型不是装不下,是装进去了推理不动——所谓的context rot。
为什么更大上下文救不了Agent,方案是持续学习+训练自己的轨迹+真实环境。 https://t.co/S6GY2Oyc55
相似文章
@berryxia: 小块有大智慧?这下真成真了! 7B小模型现在直接当上了GPT-5、Claude Sonnet 4、Gemini 2.5 Pro这些顶级大模型的老板。 一篇最新论文里,一个用强化学习训练的7B模型学会了写自然语言子任务、分配给不同大模型、精…
一篇最新论文提出通过强化学习训练7B小模型作为任务调度器,自动分解子任务并分配给GPT-5、Claude等顶级大模型,在多项硬核基准上超越单一前沿模型,证明端到端奖励学习可有效替代人工Prompt工程与多智能体流水线设计。
@wsl8297: 用 AI Agent 跑复杂任务,最难受的往往不是模型不够强,而是对话一变长,上下文就开始爆仓。 你还得一遍遍补背景、重讲流程,再加上工具调用吐出来的冗余日志,Token 像开了口子一样往外流。 最近看到腾讯开源的 TencentDB A…
腾讯开源了 TencentDB Agent Memory,通过分层记忆管理(符号化短期记忆+分层长期记忆)解决AI Agent长对话上下文爆仓问题,实测Token消耗最高降低61%,任务通过率提升超50%。
Meet GPT-5.6
OpenAI 发布 GPT-5.6 系列模型,每个 token 提供更多智能、更强方向一致性,并引入程序化工具调用、子代理委托和全新推理级别,显著提升自主开发效率。
@seclink: OpenAI 发布了 GPT-Realtime-2,这是其迄今为止最智能的语音模型。 该模型具备 GPT-5 级别的推理能力、128,000 个 token 的上下文窗口,并支持调节“投入程度”以实现更自然的对话体验。 它可与 GPT-R…
OpenAI发布了GPT-Realtime-2语音模型,具备GPT-5级别的推理能力和128,000 token上下文窗口,支持实时翻译70多种语言到13种输出语言,在Big Bench Audio Intelligence评测中达到96.6%准确率,Greg Brockman称其为语音翻译领域的里程碑。
@AYi_AInotes: 说个反常识的判断, 80% 的 Agent 生产崩溃,跟模型智商没半毛钱关系, 基本都死在上下文溢出、工具调错、子代理失控上, 2026 年真正的分水岭在 Harness 和 Loop,不是模型啊, 兄弟@wizardly_ai 这篇工程…
这篇文章指出80%的AI Agent生产崩溃并非模型智商问题,而是由上下文溢出、工具调错、子代理失控引起。作者强调2026年的分水岭在于Harness(办公室制度、安保系统)和Loop(自动循环机制),而非模型本身。