模拟模拟交叉阵列中的少次读取故障定位:稀疏恢复解码器 vs 读取每个单元(以及未通过的声明)[R]

Reddit r/MachineLearning 论文

摘要

一篇预印本提出了一种稀疏恢复解码器,仅用 4–12 次探测读取(而非 256 次)即可在 256×256 的模拟交叉阵列仿真中定位多达 64 个卡死单元,并给出 16 参数的漂移标定,同时透明地报告了若干未通过的预注册声明。

**TL;DR** 在仿真中,通过对若干随机 ±1 探测读取进行稀疏恢复解码,可在读取噪声为 1% 时,用 4 到 12 次计数读取在 256×256 模拟阵列中定位多达 64 个卡死单元。读取每个单元需要 256 次读取。论文还区分了解码器的收益与第二个读取方向的收益,并给出 16 参数的漂移标定。若干预注册声明未通过,论文如实报告了这些结果。 **背景。** 模拟交叉阵列在存储阵列内部完成矩阵-向量乘法。卡死单元始终停留在同一数值。探测读取是向阵列输入一个随机的 ±1 输入向量并读取输出。稀疏恢复意味着我们假设只有少数单元出错,并搜索能解释这些读取结果的最短单元列表。漂移指器件电导随时间缓慢变化。 **定位结果(仿真,其余为理想阵列,仅卡死故障):** 在 1% 读取噪声下,定位多达 64 个卡死单元需要 4 到 12 次计数读取。对于 k ≥ 4 个故障,读取次数比基于已发表的多离群点编码(Wei and Roth)构建的混合方法少 4.3 到 6.4 倍。他们的论文止于输出线,因此基线中的单元级阶段是我们自己的扩展。如果计入混合方法的 8 次噪声标定读取,该倍数为 1.9 到 3.2 倍。我们未在计入该开销的情况下重跑已注册条款。比调优后的 X-ABFT 至少少 2 倍读取。在该场景下 X-ABFT 所需读取次数超过全阵列读出。我们是在其设计范围之外运行的,因此这是压力测试,而非同类对比基准。 **解码器 vs 第二方向:** 仅前向读取所需的读取次数就比混合方法少 1.6 到 4.1 倍。结合转置读取的联合解码在 1% 噪声下可进一步减少 1.3 到 4 倍读取,在更高噪声下收益变小。 **漂移标定。** 每个阵列用少量探测读取拟合的 16 参数场可恢复编程精度。作为需要存储权重的数字校正,它在 CIFAR-10 上从 1 小时到 1 年的漂移范围内,比最佳低成本数字基线高 +2.1 到 +13.3 个百分点(按实际执行的 17 次 MVM 计为 +1.7 到 +13.1)。直接在阵列内应用时,保持 +0.6 到 +3.7 个百分点的收益。 **未通过的项(标准在计数运行之前已提交):** 两条关于转置(第二)方向的注册声明被否决。在后续实验中,阵列 256 在 5 项中 0 项合格,因为 2% 噪声下比值为 0.75,高于 0.7 的门槛。探测读取仅在故障密度不超过 0.3% 时优于全阵列读出(探索性结果)。**漂移结构特异性:** 测试要求差距至少 0.15,实测为 0.095。AdaBS 奇偶校验条款未满足。在没有存储数字权重的情况下,基于 32 张图像的数字重标定优于阵列内校正。作为刷新调度器,感知读取额外节省了 9% 到 13% 的写入,门槛为 15%。 **局限。** 仅仿真,无硅片验证。仅卡死故障。定位器使用存储的数字权重,测试阵列无漂移和编程噪声,读取噪声为白噪声且跨方向独立。转置读取假设双向外围电路,其成本未经验证。没有证明两个方向比一个方向需要更少读取。每个单元的 240 个实例是聚类的但按独立处理,因此置信区间过紧。标准提交在作者自己的仓库中,而非第三方注册机构。绝对精度未经 CrossSim 校验验证(差异最大达 5.66 个百分点,门槛为 0.5)。 我期望批评意见,尤其是关于基线和噪声模型的。 论文(预印本,正在期刊同行评审中):https://doi.org/10.5281/zenodo.23472381 代码:https://github.com/prateek1656/NeuroFault
查看原文

相似文章

为推测解码恢复离策略监督信号

arXiv cs.CL

本文提出一种基于 rollout 的训练框架(Anchor-Label Relabelling 与 In-Rollout Anchors),用于在离策略语料上训练的推测解码块草稿模型中恢复完整的监督信号,在不改动训练文本的情况下,将贪心解码下的接受长度较 DFlash 最多提升 36.5%。

VRAM 中的 2 位副本 + 系统 RAM 中的精确残差作为验证器:为无法装入 GPU 显存的模型实现推测解码

Reddit r/LocalLLaMA

一位业余研究者提出了一种推测解码方案:由 GPU 上的 2 位模型副本草拟 token,而系统内存中的完整残差(6–8 位)负责验证它们,两者仅通过 PCIe 交换激活值。初步测量表明,2 位模型加 8 位残差的质量优于 Q8_0,且这款 2 位草拟模型的接受率超过了 Gemma 4 的官方草拟模型。

整体之稀疏一瞥:无需训练的自推测解码

arXiv cs.CL

本文介绍了SparseSpec-L,一种用于长上下文LLM推理的无需训练的自推测解码框架,它使用动态稀疏化且可召回(recallable)的KV缓存,以及基于熵的推测长度控制器,相比自回归解码可实现高达2.79倍加速。