面向ReRAM的模型微调：解决I-V非线性和保持误差问题

arXiv cs.LG 论文
reram finetuning hardware-aware-training dnn-deployment i-v-nonlinearity retention-errors

摘要

提出了一种基于微调的硬件感知训练算法，以减轻ReRAM交叉阵列中的I-V非线性和保持误差，从而以最小开销实现鲁棒的DNN部署。在图像分类和问答任务上进行了评估，达到了接近基线的准确率。

arXiv:2606.17471v1 公告类型：新 摘要：传统的CPU、GPU和NPU架构越来越受到冯·诺依曼瓶颈的限制。虽然使用ReRAM交叉阵列的存内计算（IMC）提供了一种高密度、高能效的替代方案，但其实际部署受到非理想性的制约。现有的硬件感知训练框架通常需要从头开始训练，这对于现代大规模模型来说计算成本过高。在这项工作中，我们提出了一种基于微调的硬件感知训练算法，能够以最小的训练开销实现DNN在ReRAM上的鲁棒部署。我们的方法通过应用范围缩放的sinh变换来减轻I-V非线性，并在微调过程中直接将保持误差纳入正则化损失中。我们在图像分类和问答（QA）等模型和任务上评估了我们的框架。实验结果表明，我们的方法在ResNet18和DeiT-Tiny等大规模模型上达到了与基线模型相似的准确率。在ImageNet上，对于MobileNetV3系列，该技术的准确率下降不到2%。此外，将该技术应用于SQuAD v2数据集，F-1分数仅下降1点。
查看原文
查看缓存全文

缓存时间: 2026/06/17 05:39 

# 面向 ReRAM 的模型微调：解决 I-V 非线性和保持错误
Source: https://arxiv.org/abs/2606.17471
View PDF (https://arxiv.org/pdf/2606.17471)

> 摘要：传统的 CPU、GPU 和 NPU 架构日益受到冯·诺依曼瓶颈的限制。尽管基于 ReRAM 交叉阵列的存内计算（In-Memory Computing, IMC）提供了一种高密度、节能的替代方案，但其实际部署受到非理想特性的制约。现有的硬件感知训练框架通常需要从头训练，这对于现代大规模模型而言计算开销巨大。本文提出了一种基于微调的硬件感知训练算法，使得深度神经网络（DNN）能够在 ReRAM 上以极小的训练开销实现鲁棒部署。我们的方法通过应用范围压缩 sinh 变换来缓解 I-V 非线性，并在微调过程中将保持错误直接纳入正则化损失。我们针对图像分类和问答（QA）等任务评估了该框架。实验结果表明，在 ResNet18 和 DeiT-Tiny 等大规模模型上，我们的方法取得了与基线模型相近的精度。在 ImageNet 数据集上针对 MobileNetV3 系列模型应用该技术时，精度下降不到 2%。此外，在 SQuAD v2 数据集上应用该技术仅导致 F-1 分数下降 1 点。

## 提交历史

From: Ching-Yi Lin [view email (https://arxiv.org/show-email/a606c659/2606.17471)] **[v1]**Tue, 16 Jun 2026 03:29:51 UTC (4,429 KB)

相似文章

NSRAM: 硅芯片上的人工神经元

Reddit r/singularity

本文讨论了NSRAM，一种新型的硅芯片上的人工神经元，旨在通过模仿生物神经元，大幅提高AI的能效，解决数据中心GPU高能耗的问题。

预测随机低维重参数化何时能训练神经网络

arXiv cs.LG

本文分析了随机低维重参数化何时能训练神经网络，推导出随机切片残差的取向分辨主公式，并引入RaMaN——一个可扩展框架，能以极低内存成本预测所需潜在维度。