更大的窗口解决了适配问题,但其他三个问题呢?

Reddit r/AI_Agents 新闻

摘要

本文讨论了AI模型中更大的上下文窗口如何解决适配问题,但未能解决会话间记忆丢失和准确性下降等问题,强调了持续改进记忆的必要性。

目前上下文窗口已达到百万令牌,Llama 4 Scout达到一千万,而Magic则拥有一亿令牌的模型。这确实很棒,我希望它能继续发展。我不太确定的是随之而来的假设,即一旦窗口足够大,记忆就不再重要。在我看来,这更像是两项独立的投资,而不是一项取代另一项。更大的窗口解决了适配问题,这是一个值得解决的实际问题。但会话仍然会结束,下一个会话仍从零开始,准确性随着添加更多内容而下降,每次还需重新处理相同上下文。Chroma的上下文腐化研究测试了18个模型,发现性能在远未达到实际限制时就已下降,即使单个无关干扰项也会显著损害准确性,因此适配窗口和有效使用窗口并非完全相同。这就是为什么我认为记忆必须独立持续改进,通过诸如近期处理和对返回内容的置信度信号等方式,而不是等待窗口自行扩大。想了解大家对此的看法,以及目前实际遇到的问题是什么。
查看原文

相似文章