language-representation

本文提出了一种混合预训练目标，结合了JEPA潜在空间预测和MLM重建，用于语言模型，显示出改进的嵌入均匀性和语义-词汇平衡。

本文指出，设计先进的语言表征以塑造认知图式，是在不扩展参数规模的前提下拓展LLM智能的关键前沿。文章提供了形式化定义与实证证据，表明不同的语言结构会显著影响模型性能与内部特征激活。