@mattpocockuk:100万token的上下文窗口是个不错的噱头,但你可能最好只用前15万token:
摘要
Matt Pocock认为,100万token的上下文窗口是个噱头,并建议只用前15万token以获得更好效果。
100万token的上下文窗口是个不错的噱头
但你可能最好只用前15万token:https://t.co/hZkZExvFUt
查看缓存全文
缓存时间: 2026/07/20 13:31
100万token的上下文窗口是一个不错的噱头
但或许你最好只使用前15万token:https://t.co/hZkZExvFUt
相似文章
不要轻信大上下文窗口
分析表明,LLM 声称的大上下文窗口具有误导性,因为有效注意力在约 10 万 token 时会下降。为开发者提供实用建议:通过使用工件(artifacts)和切换(handoffs)将会话保持在“智能区”。
我的前辈说100万token使得作用域交接毫无意义。我不这么认为。
一位开发者质疑了‘100万token的上下文窗口使作用域交接过时’的说法,并对此表示反对。
Deepseek V4的百万上下文窗口:临界点
对Deepseek V4在多个生产代码库上的百万token上下文窗口的详细评估显示,在150-250k token时性能最佳,超过300k后性能下降,推理模式下延迟显著。该模型在未知任务上表现出较高的幻觉率,生产环境中需要验证层。
Claude的标记限制让我重新思考记忆:为什么“更多上下文”并不等同于“更好的记忆”
一篇观点文章,认为像Claude这样的模型中更大的标记窗口并不等同于更好的长期记忆;真正的记忆需要超越上下文大小的结构化、总结和检索。
@IntuitMachine: PEEK: 这个1K Token地图刚刚终结了长上下文税 你的LLM代理正在读取同一个50K Token的代码库……
微软推出了PEEK,一个1,024 Token的'上下文地图',为LLM代理缓存定位知识,减少冗余推理,实现了高达34%的准确率提升,减少93-145次重试,成本降低5.8倍。