标签
LoopICL 通过复用一个权重共享的 Transformer 块（并采用双路 cell/row 流和一个可学习的出口门控），将参数量与模型深度解耦。在相同 FLOPs 下，其性能与 TabICL v2 在 TabArena/TALENT 上相当，但参数量减少了约 90%。
MiniCPM5-2B是一款拥有20亿参数的开源语言模型，其极高的智能密度使其非常适合边缘设备部署，并在多项AI性能测试中表现出色。
本文介绍了NanoSleep，这是一种参数高效的混合时序卷积网络，用于使用单通道脑电图（EEG）的自动睡眠阶段分类，专为资源受限设备上的可穿戴和家庭监测设计。
本文介绍了Wiola，一个具有13M参数的仅解码器语言模型，采用螺旋旋转位置编码和门控螺旋注意力等新组件，以提升小型设备端语言模型的参数效率。
本文评估了递归权重共享Transformer架构作为参数高效的替代模型，用于半导体热机械可靠性预测，并在小型工程数据集上比较了性能、参数数量和计算成本。
本文提出统一LoRA（ULoRA），一种用于低秩适配的双参数预条件梯度初始化家族，表明现有的LoRA初始化方法是该连续统上的点。作者证明，经过调优的ULoRA在RoBERTa-base上的GLUE任务中达到或超过全微调性能，并在LLaMA 2-7B上的GSM8K任务中具有竞争力，同时引入了ULoRA-Auto以实现零搜索部署。
本文将基于LLM的闭环通道配置搜索扩展到每周期250个候选，在CIFAR-100上展示了正向的准确率趋势和参数效率提升，并揭示了LLM生成的通道先验中的架构规律性。
SechKAN 是一种新颖的 Kolmogorov-Arnold 网络架构，使用双曲正割函数作为基函数，在函数拟合、偏微分方程问题和图像分类任务中取得了具有竞争力的性能，同时保持了与多层感知机相当的参数效率。
AsySplat提出了一种非对称架构，将3D高斯泼溅中的几何和外观建模解耦，实现了长序列场景建模的高效率，相比基于优化的方法加速近800倍。
MultiHashFormer是一种基于哈希的生成式语言模型，它通过将每个词元表示为独特的哈希签名，实现了参数高效的自回归。在1亿、10亿和30亿参数规模上，该模型均优于标准Transformer语言模型，并且能够在参数不变的情况下支持多语言词汇扩展。
Fenng shares a self-media comparison between the fourth-generation WeLM-80B (80B total params, 3B activated, 3.75% activation rate) and DeepSeek-V4-Flash (284B total, 13B activated, 4.6% activation rate), with a humorous comment.
Operator Boosting 是一种逐阶段残差学习框架，通过在残差场上训练微型模型来构建紧凑的神经算子替代模型，用于求解 PDE。其精度可与全尺寸模型相媲美甚至更优，同时参数减少高达 95%，在多个基准测试中展示了帕累托改进。
Looped World Models 通过共享的Transformer块引入迭代潜在状态细化，实现了100倍的参数效率，同时根据预测复杂度自适应调整计算深度。
一名学生介绍了Silia，这是一种新颖的Transformer架构，将注意力机制和前馈网络合并为统一操作，以在≤10M参数规模下节省参数，尽管计算资源有限，仍以更少的参数实现了与GPT-2相当的性能。
本文介绍了 CDLinear，这是一种分块循环神经网络层，通过快速傅里叶变换对角化技术减少参数量并改善海森矩阵条件数，并在 MNIST 数据集上结合理论证明进行了验证。
用户质疑Qwen的27B稠密模型为何能胜过其397B MoE版本，引发关于MoE效率与稠密模型质量的讨论。
Andrej Karpathy 向 Dwarkesh Patel 表示，用超干净数据训练的 10 亿参数模型可媲美当今 1.8 万亿参数的前沿模型，相当于 1,800 倍的有效压缩。
ShadowPEFT 提出一种集中式参数高效微调方法，通过深度共享的阴影模块细化 Transformer 层表示，在可训练参数量与 LoRA/DoRA 相当的情况下实现同等甚至更优的性能。