标签
一位用户分享并征求反馈:在单张 Radeon RX 9700(gfx12)上以 EXL3 5.05bpw 运行 Qwen3.8-Flash-Next,采用 GPU/CPU 混合专家卸载,报告在 230k 上下文下 prefill 约 863 t/s、decode 约 35 t/s。
这篇 NeurIPS 2026 工作坊论文提出了 Long-Transduction——一个受控的诊断基准,用于衡量模型在长生成过程中维持有状态、依赖上下文的操作的能力。在对七个开放权重模型的评估中,论文发现,当上下文长度扩展(最高达 128K)、输入格式变化以及局部任务复杂度增加时,模型性能会出现严重退化。
研究发现,预训练 transformer 在遵循上下文引用时极少使用其深度(仅可靠遵循 1.4-3.6 行),而一个冻结所有权重、只在早期层添加的 rank-8 LoRA 即可大幅扩展该能力——Qwen3-8B 在 24 行链上的精确准确率从 15.5% 提升至 99%。LoRA 起到「接力」作用,使程序行通过中间层传递链身份信息。
由 Anthropic 推出的 Opus 5.5,在 Terminal-Bench 上达到66.4%,与 Opus 5 相比成本降低约40%,并具有100万上下文窗口,缓存读取减少60%。
本文讨论了用户报告的来自 Nous 的 Ling 3.0 AI 模型的问题,重点关注文本输出和上下文长度限制的问题,可能与量化或速率限制有关。
本文介绍了一种使用量化n-gram运行Qwen3.8-Flash-Next模型的方法,可在单张96GB显卡上实现超过17万token的上下文长度。通过INT4量化技术配合内存映射磁盘访问,处理速度最高可达每秒110个token。
RadixArk/Qwen3.8-Flash-Next-NVFP4 现已在 SGLang-V100 中得到支持,使得在 4xV100 GPU 上能够进行全上下文操作,性能指标显示高吞吐量,上下文处理能力高达 256k tokens。
介绍了用于线性注意力模型的查询派生擦除方向(QED),以提升检索性能并将可用上下文长度大约加倍,在S-NIAH-1基准测试中得到验证。
本文综合了近期关于LLMs在软件开发中的数据和研究,揭示了其在自主性、上下文处理和实际结果方面的显著局限,表明AI编码是放大现有优势,而非修复弱点。
据报道,Glimmer在RTX 5090上使用Dflash达到了233.4 tps,256k上下文可装进24GB显存,令用户兴奋不已。
一篇批评文章认为,ARC-AGI 3 不公平地禁用了智能体在多次操作之间维持上下文的能力,使其成为对通用智能的不诚实衡量。文章指出,允许压缩(compaction)后得分增至原来的三倍,同时使用的 token 数量少得多,而现实世界的智能体正是这样工作的。
用户分享了将 Qwen 3.6 27B 推至 262K 上下文并获得连贯结果的体验,并讨论了使用 Rope/Yarn 缩放进一步扩展的方法,以及在 RTX 3090 Ti 上的 kv-cache 交换策略。
Prime Intellect工程师指出,大语言模型如GPT-5.5在百万token上下文时检索准确率从256k时的80%降至36%,表明存在“context rot”问题,即模型能容纳但无法有效推理长上下文,对Agent应用构成挑战。
一位开发者使用 MiniMax AI 的 M3 模型构建了一个工具,能够在单个提示中分析整个 GitHub 仓库,生成代码健康报告和检测漏洞。该工具成功处理了 react 的 780k token 代码库,仅花费 0.23 美元。
用户分享了他们在拥有32GB显存的RTX 5090上,使用Q8量化的Qwen3.6-27B模型尝试达到115K上下文长度的配置与实验过程,并给出了基准测试结果,以及上下文长度与kv-cache量化之间的权衡。
在RTX 5090上运行量化后的Gemma-4-31B模型,上下文长度从35k增加到80k,展示了显著的性能提升。
关于微软FastContext技术的笔记,以及一个带有检索提示的小型SWE-QA实验。
Flowcat解决了实时语音模型的高成本和有限上下文问题,实现了成本降低4倍、上下文增加7倍的效果。
在 AMD 7900XTX 上优化显存使用的指南,通过编译带有 OpenBLAS 和 CUDA_FA_ALL_QUANTS 的 llama.cpp,并使用 q5_0/q4_0 的 KVCache 量化,以运行使用 Q6K 量化和 131k 上下文的 27B Qwen 模型。
该视频探讨了 subquadratic 研究所声称的 1200 万上下文模型是否可信,分析了其技术基础及潜在局限性。