parameter-efficiency

标签

Cards List
#parameter-efficiency

权重空间编程不需要 Transformer

arXiv cs.LG ↗ · 4天前 缓存

该论文研究在无需梯度训练的权重空间编程中,LLM 自行设计目标架构时,基于联想记忆的稀疏表结构比 Transformer 更省参数且更快,最高以约1800×更少参数取得更高测试准确率。

0 人收藏 0 人点赞
#parameter-efficiency

Loopback Transformer:迈向残差循环 Transformer 的统一视角

Hugging Face Daily Papers ↗ · 2026-11-04 缓存

论文提出了 Loopback Transformer,通过写入—传输—读取的形式化方法,将残差连接重新诠释为沿网络深度方向的记忆,以几何遗忘与内容相关注意力来存储各模块的更新。在相同 token 数量与深度下,该模型在 1.4B 和 3B 规模上取得了更低的验证损失和更高的 13 项零样本任务平均准确率,同时仅保留了标准 Transformer 68% 和 75% 的参数量。

0 人收藏 0 人点赞
#parameter-efficiency

Library of Layers (LoL):推理时动态排序 Transformer 层

Hugging Face Daily Papers ↗ · 2026-11-02 缓存

论文提出了 Library of Layers (LoL),一种在推理时动态重排其层的 Transformer 架构,统一了稠密(dense)、深度递归(depth-recurrent)与 MoE 等基线在参数复用与稀疏性之间的权衡,并在推理、多语言和安全任务上实现了可解释的路由。

0 人收藏 0 人点赞
#parameter-efficiency

采用共享 KV 缓存的 LSTM 式循环 Transformer

arXiv cs.LG ↗ · 2026-10-28 缓存

本文研究了一种 LSTM 风格的循环 Transformer,其循环核心共享权重和单个键值缓存,在宽度为 1024 时将参数量减少了 40.4%,并将持久缓存组数从十五组减少到四组。通过一致性损失对齐并行与递归训练过程,消除了 81–89% 的续写损失惩罚;在较低的 token 预算下,权重绑定的成本最低。

0 人收藏 0 人点赞
#parameter-efficiency

我构建了 MaRN:一个通过低维参数映射训练神经网络的 PyTorch 库 [P]

Reddit r/MachineLearning ↗ · 2026-10-09

MaRN(Mapping Networks)是一个新的开源 PyTorch 库,它通过优化一个紧凑的潜在表示而非直接优化全部参数来训练神经网络,在 MNIST 上实现了最高 57.7 倍的参数缩减,同时仅带来适度的精度损失。作者分享了探索性的基准测试结果,并邀请社区对该方法提供反馈。

0 人收藏 0 人点赞
#parameter-efficiency

DivMoE:通过跨领域专家组合实现细粒度 MoE 升级改造

arXiv cs.AI ↗ · 2026-10-09 缓存

论文提出了 DivMoE,这是首个通过领域专家初始化和多样性约束路由,从稠密模型实现细粒度混合专家(Mixture-of-Experts)升级改造的框架,解决了此前细粒度升级方法中存在的路由坍缩和精度退化问题,并在 15 项基准测试上进行了验证。

0 人收藏 0 人点赞
#parameter-efficiency

单块多深度:通过深度编程专家实现递归视觉 Transformer

Hugging Face Daily Papers ↗ · 2026-10-08 缓存

该论文提出 reViT,通过在每个递归深度用一个共享专家库的凸组合来表示 FFN,使单个 Transformer 块以递归方式应用即可在相近推理 FLOPs 下匹配全深度视觉编码器的精度,并支持弹性深度部署与权重量级压缩。

0 人收藏 0 人点赞
#parameter-efficiency

@arXivBangers: 闭环训练:循环语言模型的实用训练配方 新训练配方使循环语言模…

X AI KOLs Timeline ↗ · 2026-10-04 缓存

该论文提出了一套实用训练配方,将循环(递归)语言模型的训练数据量从 7.7 万亿 token 缩减至 3100 亿 token,其中 1.4B 的 LoopLM 在全部 12 个基准测试上均超越了参数量相当的稠密基线模型;论文还展示了如何以极少的额外参数,将 Qwen3-1.7B-Base 等预训练稠密模型转换为循环模型。

0 人收藏 0 人点赞
#parameter-efficiency

@TheAhmadOsman:Qwen 4 27B。

X AI KOLs Following ↗ · 2026-10-04

一条关于 Qwen 4 27B 的推文,这是阿里 Qwen 系列中一个拥有 270 亿参数的模型。

0 人收藏 0 人点赞
#parameter-efficiency

SW-KAN:基于 Stieltjes-Wigert q-正交多项式的 Kolmogorov-Arnold 网络

arXiv cs.LG ↗ · 2026-10-03 缓存

该论文提出 SW-KAN,一种基于 Stieltjes-Wigert q-正交多项式的 Kolmogorov-Arnold 网络,通过指数-tanh 域映射和 O(N) 三递推计算,在图像分类与函数逼近任务中实现更优的精度-效率权衡。

0 人收藏 0 人点赞
#parameter-efficiency

@MaximeRivest:每次用 4B,我们就能达到 10T 参数模型:一个真正的专家混合体。Jev 向我们展示了其实可以相当不错地进行路由……

X AI KOLs Timeline ↗ · 2026-10-02 缓存

Maxime Rivest 认为,可以把 4B 参数的专家模型组合成一个真正的专家混合(mixture-of-experts),总参数量达到 10T,从而在边缘硬件上以几乎可以忽略的成本实现前沿级性能——只用少量合成样本微调的小模型,已经足以与前沿系统媲美。

0 人收藏 0 人点赞
#parameter-efficiency

LoopICL:通过循环复用单个 Transformer 块来解决表格任务

arXiv cs.LG ↗ · 2026-09-30 缓存

LoopICL 通过复用一个权重共享的 Transformer 块(并采用双路 cell/row 流和一个可学习的出口门控),将参数量与模型深度解耦。在相同 FLOPs 下,其性能与 TabICL v2 在 TabArena/TALENT 上相当,但参数量减少了约 90%。

0 人收藏 0 人点赞
#parameter-efficiency

@TechByMarkandey: 如果进步不再意味着增加参数数量会怎样?

X AI KOLs Timeline ↗ · 2026-09-07 缓存

MiniCPM5-2B是一款拥有20亿参数的开源语言模型,其极高的智能密度使其非常适合边缘设备部署,并在多项AI性能测试中表现出色。

0 人收藏 0 人点赞
#parameter-efficiency

NanoSleep: 一种参数高效的混合时序卷积网络,用于单通道睡眠阶段分类

arXiv cs.LG ↗ · 2026-08-20 缓存

本文介绍了NanoSleep,这是一种参数高效的混合时序卷积网络,用于使用单通道脑电图(EEG)的自动睡眠阶段分类,专为资源受限设备上的可穿戴和家庭监测设计。

0 人收藏 0 人点赞
#parameter-efficiency

Wiola 13M,一种用于参数高效小型语言模型的门控螺旋注意力架构

arXiv cs.CL ↗ · 2026-08-18 缓存

本文介绍了Wiola,一个具有13M参数的仅解码器语言模型,采用螺旋旋转位置编码和门控螺旋注意力等新组件,以提升小型设备端语言模型的参数效率。

0 人收藏 0 人点赞
#parameter-efficiency

用于半导体热机械可靠性的递归Transformer

arXiv cs.LG ↗ · 2026-07-31 缓存

本文评估了递归权重共享Transformer架构作为参数高效的替代模型,用于半导体热机械可靠性预测,并在小型工程数据集上比较了性能、参数数量和计算成本。

0 人收藏 0 人点赞
#parameter-efficiency

在梯度与自然梯度之间:LoRA初始化的连续统

arXiv cs.LG ↗ · 2026-07-30 缓存

本文提出统一LoRA(ULoRA),一种用于低秩适配的双参数预条件梯度初始化家族,表明现有的LoRA初始化方法是该连续统上的点。作者证明,经过调优的ULoRA在RoBERTa-base上的GLUE任务中达到或超过全微调性能,并在LLaMA 2-7B上的GSM8K任务中具有竞争力,同时引入了ULoRA-Auto以实现零搜索部署。

0 人收藏 0 人点赞
#parameter-efficiency

利用LLM扩展闭环特征通道配置

arXiv cs.LG ↗ · 2026-07-24 缓存

本文将基于LLM的闭环通道配置搜索扩展到每周期250个候选,在CIFAR-100上展示了正向的准确率趋势和参数效率提升,并揭示了LLM生成的通道先验中的架构规律性。

0 人收藏 0 人点赞
#parameter-efficiency

SechKAN: 基于双曲正割函数的Kolmogorov-Arnold网络

arXiv cs.LG ↗ · 2026-07-22 缓存

SechKAN 是一种新颖的 Kolmogorov-Arnold 网络架构,使用双曲正割函数作为基函数,在函数拟合、偏微分方程问题和图像分类任务中取得了具有竞争力的性能,同时保持了与多层感知机相当的参数效率。

0 人收藏 0 人点赞
#parameter-efficiency

AsySplat: 用于长序列场景建模的高效非对称3D高斯泼溅

Hugging Face Daily Papers ↗ · 2026-07-13 缓存

AsySplat提出了一种非对称架构,将3D高斯泼溅中的几何和外观建模解耦,实现了长序列场景建模的高效率,相比基于优化的方法加速近800倍。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈