context-length

标签

Cards List
#context-length

Qwen3.8-Flash-Next (5.05bpw + ngram, bf16) EXL3 在单张 R9700 上运行:230k 上下文(最大 256k)下 prefill 863 t/s、decode 35 t/s,这正常吗?还是我漏了什么?

Reddit r/LocalLLaMA ↗ · 2026-10-02

一位用户分享并征求反馈:在单张 Radeon RX 9700(gfx12)上以 EXL3 5.05bpw 运行 Qwen3.8-Flash-Next,采用 GPU/CPU 混合专家卸载,报告在 230k 上下文下 prefill 约 863 t/s、decode 约 35 t/s。

0 人收藏 0 人点赞
#context-length

保持专注:测试长时程智能体可靠性的基础

arXiv cs.AI ↗ · 2026-10-01 缓存

这篇 NeurIPS 2026 工作坊论文提出了 Long-Transduction——一个受控的诊断基准,用于衡量模型在长生成过程中维持有状态、依赖上下文的操作的能力。在对七个开放权重模型的评估中,论文发现,当上下文长度扩展(最高达 128K)、输入格式变化以及局部任务复杂度增加时,模型性能会出现严重退化。

0 人收藏 0 人点赞
#context-length

Transformers 停止思考得太早,而一个小小的 LoRA 就能解决这个问题

Hugging Face Daily Papers ↗ · 2026-09-29 缓存

研究发现,预训练 transformer 在遵循上下文引用时极少使用其深度(仅可靠遵循 1.4-3.6 行),而一个冻结所有权重、只在早期层添加的 rank-8 LoRA 即可大幅扩展该能力——Qwen3-8B 在 24 行链上的精确准确率从 15.5% 提升至 99%。LoRA 起到「接力」作用,使程序行通过中间层传递链身份信息。

0 人收藏 0 人点赞
#context-length

Opus 5.5 概述: Terminal-Bench 达到66.4%, 运行成本比 Opus 5 降低约40%, 缓存读取减少60%

Reddit r/artificial ↗ · 2026-09-24

由 Anthropic 推出的 Opus 5.5,在 Terminal-Bench 上达到66.4%,与 Opus 5 相比成本降低约40%,并具有100万上下文窗口,缓存读取减少60%。

0 人收藏 0 人点赞
#context-length

Ling 3.0 (在 Nous 上)

Reddit r/AI_Agents ↗ · 2026-09-07

本文讨论了用户报告的来自 Nous 的 Ling 3.0 AI 模型的问题,重点关注文本输出和上下文长度限制的问题,可能与量化或速率限制有关。

0 人收藏 0 人点赞
#context-length

Qwen3.8-Flash-Next 在单张96 GB显卡上支持170K上下文窗口,速度约110 tokens/秒。

Reddit r/LocalLLaMA ↗ · 2026-08-30

本文介绍了一种使用量化n-gram运行Qwen3.8-Flash-Next模型的方法,可在单张96GB显卡上实现超过17万token的上下文长度。通过INT4量化技术配合内存映射磁盘访问,处理速度最高可达每秒110个token。

0 人收藏 0 人点赞
#context-length

Qwen3.8-Flash-Next NVFP4 第3天对4xV100的支持

Reddit r/LocalLLaMA ↗ · 2026-08-30

RadixArk/Qwen3.8-Flash-Next-NVFP4 现已在 SGLang-V100 中得到支持,使得在 4xV100 GPU 上能够进行全上下文操作,性能指标显示高吞吐量,上下文处理能力高达 256k tokens。

0 人收藏 0 人点赞
#context-length

查询知道该遗忘什么:线性注意力的第二擦除方向

arXiv cs.LG ↗ · 2026-08-17 缓存

介绍了用于线性注意力模型的查询派生擦除方向(QED),以提升检索性能并将可用上下文长度大约加倍,在S-NIAH-1基准测试中得到验证。

0 人收藏 0 人点赞
#context-length

AI软件开发——数据说了什么?

Lobsters Hottest ↗ · 2026-08-17 缓存

本文综合了近期关于LLMs在软件开发中的数据和研究,揭示了其在自主性、上下文处理和实际结果方面的显著局限,表明AI编码是放大现有优势,而非修复弱点。

0 人收藏 0 人点赞
#context-length

Glimmer:5090上使用Dflash实现233.4 tps

Reddit r/LocalLLaMA ↗ · 2026-08-10

据报道,Glimmer在RTX 5090上使用Dflash达到了233.4 tps,256k上下文可装进24GB显存,令用户兴奋不已。

0 人收藏 0 人点赞
#context-length

ARC-AGI 3 并非 AGI 的诚实衡量标准

Reddit r/singularity ↗ · 2026-07-30

一篇批评文章认为,ARC-AGI 3 不公平地禁用了智能体在多次操作之间维持上下文的能力,使其成为对通用智能的不诚实衡量。文章指出,允许压缩(compaction)后得分增至原来的三倍,同时使用的 token 数量少得多,而现实世界的智能体正是这样工作的。

0 人收藏 0 人点赞
#context-length

Qwen 3.6 27B 在 262K 上下文以内表现稳定。使用 Rope/Yarn 缩放,你们最高达到了多少?

Reddit r/LocalLLaMA ↗ · 2026-07-16

用户分享了将 Qwen 3.6 27B 推至 262K 上下文并获得连贯结果的体验,并讨论了使用 Rope/Yarn 缩放进一步扩展的方法,以及在 RTX 3090 Ti 上的 kv-cache 交换策略。

0 人收藏 0 人点赞
#context-length

@FinanceYF5: 大家都在吹百万token上下文,但Prime Intellect一位工程师说了句大实话: GPT-5.5在256k时检索准确率80%,拉到一百万直接掉到36%。模型不是装不下,是装进去了推理不动——所谓的context rot。 为什么更…

X AI KOLs Timeline ↗ · 2026-07-14 缓存

Prime Intellect工程师指出,大语言模型如GPT-5.5在百万token上下文时检索准确率从256k时的80%降至36%,表明存在“context rot”问题,即模型能容纳但无法有效推理长上下文,对Agent应用构成挑战。

0 人收藏 0 人点赞
#context-length

@FareaNFts: 我开发了一个工具来测试 @MiniMax_AI M3 模型的 1M 上下文声称是否真实。剧透:确实如此。它的功能如下: >…

X AI KOLs Timeline ↗ · 2026-07-13 缓存

一位开发者使用 MiniMax AI 的 M3 模型构建了一个工具,能够在单个提示中分析整个 GitHub 仓库,生成代码健康报告和检测漏洞。该工具成功处理了 react 的 780k token 代码库,仅花费 0.23 美元。

0 人收藏 0 人点赞
#context-length

在32GB显存上以Q8量化使用Qwen3.6-27,接近100K上下文

Reddit r/LocalLLaMA ↗ · 2026-07-05

用户分享了他们在拥有32GB显存的RTX 5090上,使用Q8量化的Qwen3.6-27B模型尝试达到115K上下文长度的配置与实验过程,并给出了基准测试结果,以及上下文长度与kv-cache量化之间的权衡。

0 人收藏 0 人点赞
#context-length

RTX5090, gemma-4-31B-it-Q6_K.gguf。上下文:之前 - 35k,之后 - 80k!

Reddit r/LocalLLaMA ↗ · 2026-07-04

在RTX 5090上运行量化后的Gemma-4-31B模型,上下文长度从35k增加到80k,展示了显著的性能提升。

0 人收藏 0 人点赞
#context-length

关于微软FastContext的笔记,以及一个带有检索提示的小型SWE-QA实验

Reddit r/LocalLLaMA ↗ · 2026-06-30

关于微软FastContext技术的笔记,以及一个带有检索提示的小型SWE-QA实验。

0 人收藏 0 人点赞
#context-length

实时语音模型在成本(和遗忘)问题上叠加——'Flowcat'同时解决了这两个问题(成本降低4倍,上下文增加7倍)

Reddit r/AI_Agents ↗ · 2026-06-24

Flowcat解决了实时语音模型的高成本和有限上下文问题,实现了成本降低4倍、上下文增加7倍的效果。

0 人收藏 0 人点赞
#context-length

7900XTX 24GB 显存,终于能够在 131k 上下文下容纳 Q6K+MTP 和 Qwen 3.6 27B

Reddit r/LocalLLaMA ↗ · 2026-06-20

在 AMD 7900XTX 上优化显存使用的指南,通过编译带有 OpenBLAS 和 CUDA_FA_ALL_QUANTS 的 llama.cpp,并使用 q5_0/q4_0 的 KVCache 量化,以运行使用 Q6K 量化和 131k 上下文的 27B Qwen 模型。

0 人收藏 0 人点赞
#context-length

subquadratic 声称的 1200 万上下文模型的说法可信吗?

Reddit r/singularity ↗ · 2026-06-17

该视频探讨了 subquadratic 研究所声称的 1200 万上下文模型是否可信,分析了其技术基础及潜在局限性。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈