标签
UltraBERT 重新审视了双向编码器的预训练设计选择，揭示了在超过数万亿 token 后性能趋于饱和、分类与检索任务之间掩码比例的权衡，并提出了一种双 LM 头蒸馏方法，在 GLUE（91.0）和 BEIR（47.7）上均达到了最先进的性能。
这篇论文在极小规模（8.7M 参数、4 层）的中文 BERT 上严格控制变量，对比了 MLM、WWM 和 MacBERT 三种预训练策略，发现小规模下的策略排名（MLM > WWM ≫ MacBERT）与大规模结论相反，并指出 MacBERT 在同义词词典覆盖不足时会出现困惑度严重退化、训练损失不可靠的问题。
本文研究了冻结BERT中驱动AI文本检测的神经元，通过在RAID基准测试上应用稀疏探测和激活补丁技术，识别出一小部分因果相关的神经元，这些神经元在不同生成器家族间具有泛化性。
一项仅有400万参数的模型，通过10,000个样本微调，在某些基准测试中性能超越了opus和kimi。
本文介绍了一种名为CB-MAS的多智能体系统，用于文档敏感性分类。该系统通过迭代咨询和通道增强，解决了BERT等变压器模型中固定输入长度的局限性。
本研究使用BlameBERT分类器考察了丹麦议会从1997年到2026年的指责归因，揭示了政治话语中的意识形态不对称和香蕉形轨迹。
对BERT在2020年重要影响的怀旧反思，Hugging Face将其记录为 'BERTology'，并引发了对大语言模型构成的讨论。
A tweet discusses the resurgence of encoder models in AI, referencing BERT and GPT, and questions if this marks a Renaissance of the Encoder.
Laya 是一款开源的非自回归决策模型，提供带有校准概率的类型化回答，旨在用于电子邮件分类和对话AI等任务，相比现有模型显示出显著的性能提升。
本文介绍了针对生物医学文本中变异-表型领域自动关系抽取的微调预训练模型，表明 DeBERTa 和 Gemini Pro 1.0 达到了最先进的性能。
本文研究了领域偏移下金融命名实体识别的置信度估计和选择性预测，评估了BERT和LoRA微调的Qwen模型，以提高在不同输入分布（如SEC文件和社交媒体）下的可靠性。
对BART、BERT和RoBERTa在文本摘要中的比较研究，探讨它们的架构以及在抽取式和生成式摘要任务中的适用性。
本文评估了基于BERT的问答模型（RoBERTa、ALBERT、DistilBERT）在蒙特卡洛Dropout和输入改写条件下的可靠性，发现RoBERTa更为一致，并验证了MCD作为可靠性指标的有效性。
Presents STCAD, a scalable framework using BERT-based encoding and CURE clustering to perform trajectory clustering and anomaly detection on terabyte-scale AIS maritime data, demonstrating stable clusters and clear separation of anomalous vessel behavior.
本文介绍了一个用于检测立法委员会证词中自我介绍的机器学习流程，使用词袋和BERT概率等特征。XGBoost取得了最佳F1分数0.9747，并通过BERT增强特征进一步改进。
本文提出CNM，一种轻量级增强方法，通过表意描述序列将汉字的离散组合结构注入BERT，在提升稀有字符和未登录字符性能的同时保持通用自然语言理解准确率。
本文提出联合仿射谱整形（JRI），将仅权重的谱优化器（如Muon）扩展到仿射层中联合更新权重和偏置，在BERT-mini IMDb分类任务上显示出小而一致的准确率提升。
一条推文认为掩码语言建模没有必要，自回归模型就足够了，并顺便提到了 BERT。
本文提出了一种基于BERT的Mpox研究文章自动化多标签分类系统，准确率达到97%，并采用SHAP进行可解释性分析。该系统旨在帮助研究人员和医疗工作者快速找到相关信息。