needle-in-haystack

英伟达的Nemotron-3-Super-120B-A12B，一种混合Mamba和混合专家模型，仅使用四块RTX 3090 GPU就实现了在504K token下的完美大海捞针检索。

Sub Quadratic 声称拥有 1200 万 token 上下文的模型，但仅限合作伙伴访问；在“大海捞针”测试中表现出色，但缺乏一般推理能力的证据，引发质疑。