rope-scaling

标签

Cards List
#rope-scaling

Qwen 3.6 27B 在 262K 上下文以内表现稳定。使用 Rope/Yarn 缩放,你们最高达到了多少?

Reddit r/LocalLLaMA · 2026-07-16

用户分享了将 Qwen 3.6 27B 推至 262K 上下文并获得连贯结果的体验,并讨论了使用 Rope/Yarn 缩放进一步扩展的方法,以及在 RTX 3090 Ti 上的 kv-cache 交换策略。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈