subquadratic 声称的 1200 万上下文模型的说法可信吗？
摘要
该视频探讨了 subquadratic 研究所声称的 1200 万上下文模型是否可信，分析了其技术基础及潜在局限性。
https://www.youtube.com/watch?v=qaPdHmkGDgo
相似文章
Do you guys think subquadratic actually has a 12 million context model
Sub Quadratic 声称拥有 1200 万 token 上下文的模型，但仅限合作伙伴访问；在“大海捞针”测试中表现出色，但缺乏一般推理能力的证据，引发质疑。
@Hesamation: 还记得这个吗？20天前，SubQ声称已开发出一个拥有12M上下文窗口、比Opus便宜95%、且智能水平相当的模型……
SubQ声称开发了一款突破性模型，拥有12M上下文窗口，成本比Opus降低95%，但在承诺发布论文和模型卡后却未兑现，引发了对是否骗局或不当行为的强烈怀疑。
Subquadratic AI 推出 SubQ-1.1-Small，一款采用 Smart Sparse Attention 的新模型
Subquadratic AI 推出 SubQ-1.1-Small，该模型利用 Smart Sparse Attention 在长达 1200 万 token 的上下文中实现近乎完美的长上下文检索，注意力计算量减少高达 1000 倍。它兼顾了长上下文优化与强大的通用推理能力，在 NIAH 和 RULER 等基准测试中优于基线模型。
上下文归因如何处理模型已知的知识
本文介绍了一个评估协议，包含四个新指标和一个基准数据集，用于评估LLM的上下文归因方法，并表明当上下文与训练数据重叠时这些方法会失败。
更多上下文、更大模型还是道德知识？政治文本中施瓦茨价值观检测的系统研究
一项关于检测政治文本中施瓦茨价值观的系统研究，比较了上下文长度、模型大小和检索增强生成方法。结果表明，全文上下文能提升监督模型性能但对零样本大语言模型无效，而检索到的道德知识通过早期融合始终有所帮助。