symmetry

标签

Cards List
#symmetry

[R] 测量对称性--数据交换速率

Reddit r/MachineLearning · 9小时前 缓存

本文实证测量了等变性理论预测的对称性与数据交换速率,发现错误群对称约束具有实际危害,测试时轨道平均的数据增强与等变架构相匹配,而理论上 |G| 倍的样本复杂度降低仅得到弱证实,且置信区间较宽。该研究明确为探索性,未预先注册。

0 人收藏 0 人点赞
#symmetry

测量对称性——数据交换率

Hugging Face Daily Papers · 5天前

这项探索性研究通过受控的C_n对称任务,实证测量了等变性理论预测的对称性-数据交换率,发现错误群组约束反而有害,在测试时进行轨道平均的数据增强与等变模型完全匹配,且实证交换率大致与理论一致但统计上不具决定性。作者强调了该研究的探索性,并呼吁进行注册复制研究。

0 人收藏 0 人点赞
#symmetry

将约束程序转化为局部搜索输入

arXiv cs.AI · 2026-05-20

本文提出了一种方法,利用对称性质从约束规范中自动生成局部搜索邻域,并在六个优化问题上进行了评估。

0 人收藏 0 人点赞
#symmetry

优化器设计的对称兼容原则:嵌入层、语言模型头、SwiGLU MLP 和 MoE 路由器

Hugging Face Daily Papers · 2026-05-18 缓存

研究人员提出了对称兼容优化器,这些优化器尊重神经网络参数的等变性结构,相比 Adam 等传统方法提高了训练稳定性和性能。该方法在多种语言模型架构上得到验证,包括 Qwen3-0.6B、Gemma 3 1B 和 OLMoE-1B-7B。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈