transformer-mechanics

Aravind Jayendran 认为，尽管更长的上下文窗口能提升 LLM 表现，却无法完全取代权重更新；他将上下文比作瞬态软件，而权重则是能根本改变模型能力的硬件。