我构建了 MaRN：一个通过低维参数映射训练神经网络的 PyTorch 库 [P]

Reddit r/MachineLearning 工具
pytorch parameter-efficiency latent-mapping open-source neural-networks optimization

摘要

MaRN（Mapping Networks）是一个新的开源 PyTorch 库，它通过优化一个紧凑的潜在表示而非直接优化全部参数来训练神经网络，在 MNIST 上实现了最高 57.7 倍的参数缩减，同时仅带来适度的精度损失。作者分享了探索性的基准测试结果，并邀请社区对该方法提供反馈。

我构建了 MaRN（Mapping Networks），这是一个 PyTorch 库，可以让你优化一个紧凑的潜在表示，而不是直接训练模型的每个参数。以下是我当前基准测试的一些结果： - MNIST CNN：107,998 → 1,872 个可训练参数（缩减 57.7 倍），准确率为 91.80% - LSTM 预测：12,051 → 2,048 个参数，验证集 MSE 为 0.00006 - CNN2 + 剪枝：204 个可训练参数，准确率为 81.25% 这些结果是有取舍的：使用映射的模型训练速度可能会明显变慢，而且性能因任务而异。这些基准测试是探索性的，部分任务使用了合成数据，并不能作为该方法普遍优于直接训练的证据。该库包含全局映射和逐层映射、正则化选项，以及剪枝/LRD 的集成。 代码：https://github.com/arjunmnath/MaRN 文档：https://marn.readthedocs.io/ 我非常希望听到大家对该方法、基准测试设计，以及这类参数高效优化可能适用场景的反馈。
查看原文

相似文章

预测随机低维重参数化何时能训练神经网络

arXiv cs.LG

本文分析了随机低维重参数化何时能训练神经网络，推导出随机切片残差的取向分辨主公式，并引入RaMaN——一个可扩展框架，能以极低内存成本预测所需潜在维度。

MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning

Hugging Face Daily Papers

# Paper page - MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning Source: [https://huggingface.co/papers/2605.07850](https://huggingface.co/papers/2605.07850) We propose**MatryoshkaLoRA**, a general, Matryoshka\-inspired training framework for LoRA that learns accurate hierarchical low\-rank representations by inserting a fixed, carefully crafted diagonal matrix**P**between the existing LoRA adapters to scale their sub\-ranks accordingly\. By introducing