frequency-bias

标签

Cards List
#frequency-bias

@vintcessun: 原来LLM文本embedding被高频token(句号、冠词)绑架了!Unembedding矩阵隐式定义了一个低秩子空间,主导这些无信息量的表达。这是LLM作为通用embedding效果不佳的根本原因,且污染很隐蔽。EmbedFilter…

X AI KOLs Timeline · 3天前 缓存

该研究揭示了LLM文本嵌入被高频token(如句号、冠词)绑架的问题,提出EmbedFilter方法通过对unembedding矩阵进行SVD分解并减去投影分量来释放真实语义,实现零训练开销的降维和检索效率提升。

0 人收藏 0 人点赞
#frequency-bias

变系数波动方程下神经算子的频率偏差与分布外泛化

Hugging Face Daily Papers · 2026-05-13 缓存

本文研究了变系数波动方程中傅里叶神经算子与深度算子网络在分布偏移下的泛化行为,发现FNO难以处理高频输入,而DeepONet的性能下降较为平缓。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈