标签
用户询问llama.cpp如何为每个用户提供完整的上下文长度,并指出它似乎只是共享上下文池,而不是为每个用户提供专用上下文。
作者对键值缓存量化(q4_0)即使在长上下文窗口下依然有效感到惊讶,并引用了从 10 万上下文中准确检索的结果。
一条推文讨论了如何在OpenAI的面试中回答关于将LLM上下文长度从2K扩展到128K个token的问题,并指出了常见的错误。
宣布在旧金山COLM举办‘Context Beyond the Window’研讨会,聚焦LLM上下文长度及其扩展的各种观点。
一篇深入探讨现代密集Transformer内部工作原理的博文,涵盖YaRN(位置信息)、混合注意力(实现160k上下文长度)、soft capping、QK归一化,以及Transformer数学(包括FLOPs/Token公式和集群规模估算)。
本论文识别出长上下文LLM推理基准测试中的一个盲点:它们未能控制任务在上下文中的位置,导致位置失败未被检测到。作者提出上下文旋转评估(CRE)来系统地改变任务位置、填充内容和上下文长度,揭示出当推理任务放置在长上下文中时,某些模型的准确率会严重下降。
关于在CPU上本地运行大语言模型性能的讨论,特别是大上下文尺寸的情况,以及显存限制带来的挑战。
一份 478B 参数的量化 GLM-5.1 模型在 4 块 RTX Pro 6000 上用 SGLang 运行,支持 37 万 token 上下文,解码最高 45 tok/s,预填充 1340 tok/s,并现场演示操控 Figma。
Developer reports that Claude loads 30-40K tokens of rules on startup—5-8× Codex, 15× Hermes—and shows increasing rule drift, violating the same P0 rule five times in one session.
一位开发者分享了使用 RLM 的实践经验,表示其能够有效承载高达数千万 token 的超长上下文窗口,这标志着上下文处理能力实现了显著跨越。
FramePack是一种神经网络结构,它压缩输入帧,使得Transformer上下文长度固定,不受视频长度影响,从而使视频扩散模型能够处理大量帧,计算瓶颈类似于图像扩散,并提高了批量大小。它还引入了一种抗漂移采样方法,以减少曝光偏差。