标签
本文描述了关于 split-K 矩阵乘法的实验，揭示了答案的变异性取决于块布局和分割计数，在 B200 GPU 上的测试显示了不同条件下的输出变化。
作者通过将提示分割成重叠的块来实验KV缓存混合，在Ling3-tiny上实现了预填充速度提升3倍，而不影响检索任务。