标签
Matt Pocock认为,100万token的上下文窗口是个噱头,并建议只用前15万token以获得更好效果。
一篇观点文章,认为像Claude这样的模型中更大的标记窗口并不等同于更好的长期记忆;真正的记忆需要超越上下文大小的结构化、总结和检索。
Claude AI已将所有计划的token限制提高一倍,让用户可以创作更多内容。
对Deepseek V4在多个生产代码库上的百万token上下文窗口的详细评估显示,在150-250k token时性能最佳,超过300k后性能下降,推理模式下延迟显著。该模型在未知任务上表现出较高的幻觉率,生产环境中需要验证层。