@no_stp_on_snek:mrcr v2 在 1m 长度下完成 8-needle 测试,采用开源权重堆栈,仅单台租赁 mi300x。longctx directional 0.688(n=30,mass-val 重跑待更新…

X AI KOLs Following 模型

摘要

分享了一套开源模型堆栈在单卡 AMD MI300X 上运行的早期基准测试成绩与评估指标,表明其性能已具备与闭源方案竞争的实力。

mrcr v2 在 1m 上下文中完成 8-needle 测试,采用开源权重堆栈,仅依赖单张租用的 mi300x。 longctx directional 得分为 0.688(n=30,mass-val 重跑结果待定)。conservative mass-val 为 0.601(n=60)。subq 已公开,得分为 0.659。 整体表现已非常接近目标,在 multiquery 任务上甚至可能实现反超。文章中提供了开源与闭源方案的详细对比数据。
查看原文
查看缓存全文

缓存时间: 2026/05/09 03:40

mrcr v2,1m 规模下的 8-needle 测试,采用开源权重栈(open weights stack),使用单台租用的 mi300x。

longctx directional:0.688(n=30,mass-val 重跑 pending)。保守型 mass-val:0.601(n=60)。subq 已发布结果:0.659。

已非常接近达标,在 multiquery 设置下可能已通过。文中附有 Open 与 Closed 的对比记录。

相似文章

@no_stp_on_snek: https://x.com/no_stp_on_snek/status/2052833502475833384

X AI KOLs Following

使用 Qwen2.5-32B-Instruct 搭配 longctx 和 vllm-turboquant 的单个 AMD MI300X 开源技术栈,在 MRCR v2 百万级上下文基准测试中取得了与 SubQ 闭源模型(0.659)相竞争的结果(0.601-0.688),表明开源权重方法已接近达到同等水平。