context-length

标签

Cards List
#context-length

可能是个愚蠢的问题,但如何为多个用户提供完整的上下文长度?

Reddit r/LocalLLaMA ↗ · 2026-06-15

用户询问llama.cpp如何为每个用户提供完整的上下文长度,并指出它似乎只是共享上下文池,而不是为每个用户提供专用上下文。

0 人收藏 0 人点赞
#context-length

我仍然惊讶于 KV 量化变得多么出色

Reddit r/LocalLLaMA ↗ · 2026-06-15

作者对键值缓存量化(q4_0)即使在长上下文窗口下依然有效感到惊讶,并引用了从 10 万上下文中准确检索的结果。

0 人收藏 0 人点赞
#context-length

Token 最大化

Reddit r/singularity ↗ · 2026-06-06

讨论在大型语言模型中最大化 Token 使用以提高效率和输出质量的策略与技术。

0 人收藏 0 人点赞
#context-length

@akshay_pachaar: 你正在OpenAI参加研究科学家的面试。面试官问:“你如何将LLM的上下文长度从…”

X AI KOLs Following ↗ · 2026-06-03 缓存

一条推文讨论了如何在OpenAI的面试中回答关于将LLM上下文长度从2K扩展到128K个token的问题,并指出了常见的错误。

0 人收藏 0 人点赞
#context-length

@siddarthv66: 我非常激动地宣布一件酝酿已久的事情……我们正在旧金山组织一场COLM研讨会,演讲阵容强大。

X AI KOLs Following ↗ · 2026-05-28 缓存

宣布在旧金山COLM举办‘Context Beyond the Window’研讨会,聚焦LLM上下文长度及其扩展的各种观点。

0 人收藏 0 人点赞
#context-length

@gordic_aleksa: 新深度博文时刻:Inside the Transformer: The Life of a Token 对现代密集Transformer的深入探讨,我…

X AI KOLs Timeline ↗ · 2026-05-26 缓存

一篇深入探讨现代密集Transformer内部工作原理的博文,涵盖YaRN(位置信息)、混合注意力(实现160k上下文长度)、soft capping、QK归一化,以及Transformer数学(包括FLOPs/Token公式和集群规模估算)。

0 人收藏 0 人点赞
#context-length

长上下文LLM中的位置失败:推理基准测试的盲点

arXiv cs.CL ↗ · 2026-05-25 缓存

本论文识别出长上下文LLM推理基准测试中的一个盲点:它们未能控制任务在上下文中的位置,导致位置失败未被检测到。作者提出上下文旋转评估(CRE)来系统地改变任务位置、填充内容和上下文长度,揭示出当推理任务放置在长上下文中时,某些模型的准确率会严重下降。

0 人收藏 0 人点赞
#context-length

本地LLM CPU用户……你们做任何事情要花多长时间?

Reddit r/openclaw ↗ · 2026-05-20

关于在CPU上本地运行大语言模型性能的讨论,特别是大上下文尺寸的情况,以及显存限制带来的挑战。

0 人收藏 0 人点赞
#context-length

@0xSero:GLM-5.1-478B-NVFP4 跑在:4×RTX Pro 6000、SGLang,最大 37 万 token(1.75× 满上下文),p10 27.7 | p90 45…

X AI KOLs Timeline ↗ · 2026-04-21 缓存

一份 478B 参数的量化 GLM-5.1 模型在 4 块 RTX Pro 6000 上用 SGLang 运行,支持 37 万 token 上下文,解码最高 45 tok/s,预填充 1340 tok/s,并现场演示操控 Figma。

0 人收藏 0 人点赞
#context-length

@runes_leo: 完全击中。 今天又算了一次:Claude 启动加载 30-40K tokens(rules/ 4 个文件 + MEMORY.md), 是 Codex 的 5-8 倍、Hermes 的 15 倍。 规则塞得越多越漂移,单 session 违…

X AI KOLs Timeline ↗ · 2026-04-21 缓存

Developer reports that Claude loads 30-40K tokens of rules on startup—5-8× Codex, 15× Hermes—and shows increasing rule drift, violating the same P0 rule five times in one session.

0 人收藏 0 人点赞
#context-length

@samhogan:顺便提一句,RLM 基本已解决上下文问题。你只需将上千万个 token 投入一个成熟的 RLM 框架中,它就能直接跑通……

X AI KOLs Following ↗ · 2026-04-18 缓存

一位开发者分享了使用 RLM 的实践经验,表示其能够有效承载高达数千万 token 的超长上下文窗口,这标志着上下文处理能力实现了显著跨越。

0 人收藏 0 人点赞
#context-length

在视频生成的下一帧预测模型中打包输入帧上下文

Papers with Code Trending ↗ · 2025-04-17 缓存

FramePack是一种神经网络结构,它压缩输入帧,使得Transformer上下文长度固定,不受视频长度影响,从而使视频扩散模型能够处理大量帧,计算瓶颈类似于图像扩散,并提高了批量大小。它还引入了一种抗漂移采样方法,以减少曝光偏差。

0 人收藏 0 人点赞
← Previous
← 返回首页

提交意见反馈