标签
一位开发者分支了NInfer，这是一个C++20/CUDA推理引擎，添加了张量并行和YaRN绳索缩放，使得Qwen3.8-27B能够在双5090显卡上运行1M token上下文，并在特定解码场景中优于vLLM。
用户分享了将 Qwen 3.6 27B 推至 262K 上下文并获得连贯结果的体验，并讨论了使用 Rope/Yarn 缩放进一步扩展的方法，以及在 RTX 3090 Ti 上的 kv-cache 交换策略。