bert

本文提出了一种基于BERT的Mpox研究文章自动化多标签分类系统，准确率达到97%，并采用SHAP进行可解释性分析。该系统旨在帮助研究人员和医疗工作者快速找到相关信息。

本文比较了微调后的MahaBERT模型与大型语言模型（Gemini、LLaMA-3.3-70B、Gemma）在马拉地语命名实体识别上的表现，发现专门的BERT模型显著优于这些大型语言模型，其F1分数为0.88–0.91，而后者仅为0.57–0.69。

MyAwesomeModel，一个基于 BERT 的特征提取器，将句子转换为稠密向量，用于语义搜索、聚类和 NLP 流水线。

本文提出了一种跨语言数据增强策略，利用机器翻译将专家标注的难度标签从高资源语言迁移到低资源语言。基于BERT的回归模型实验表明，用翻译语料库增强稀缺的本土数据显著提高了文本难度评估的准确性。

本文介绍了使用贝叶斯数据混合和经验X风险最小化检测AI生成文本的方法，通过ModernBERT-large和MCGrad分类器在OOD检测上取得了高性能。

本文提出了一个使用BERT的可扩展多领域对话状态追踪框架，实现了零样本泛化，并在SGD数据集上提升了性能。

本文探讨了基于翻译的微调作为低资源语言本地语言BERT模型的资源高效替代方案的可行性，发现在六项NLP任务中，53.3%的情况下其性能相当或更优。

本文提出了一种Procrustes条件的联合端到端Top-K稀疏自编码器，用于从独立训练的BERT模型中提取通用特征，在跨种子特征对齐方面优于事后对齐方法。

CrossBERT将表示学习与令牌重构解耦，实现更高的掩码比例和更好的样本效率，在MTEB和GLUE基准测试上超越BERT。

@goyalayus 的一条推文指出，四本未指定的书籍足以学习任何领域，随后引用 Praveen Kumar Verma 的建议，按特定顺序阅读基础 LLM 论文，包括《Attention Is All You Need》、BERT、GPT、GPT-2、Scaling Laws 和 GPT-3。

BamiBERT 是一种新的基于BERT的越南语预训练语言模型，它解决了PhoBERT的局限性，支持更长的上下文，无需分词即可运行，并在多个越南语基准上取得了最先进的结果。

推荐一个解释Transformer架构的教育资源，涵盖token嵌入、自注意力、残差连接，以及与GPT和BERT的联系。

介绍了针对土耳其语和阿拉伯语的全面仇恨言论数据集，并开发了基于BERT的最先进模型，用于仇恨言论分析，包括分类、强度预测、目标识别和跨度检测。

本文发现，HateXplain中42.6%的标注者分歧集中在仇恨/冒犯边界，表明多数票压制了少数价值观，导致模型对有争议的输入输出错误但高度自信的预测。

本文探讨了ModernBERT模型在法律领域的领域适应，通过在美国法院意见上进行进一步预训练，取得了相对于基础模型的显著改进，并公开发布了检查点。

SupraLabs 发布了 SupraSafety-18M，这是一个微型的 18M 参数 BERT 风格的内容审核模型，基于 NVIDIA 的 Nemotron-3.5 数据集训练。它达到了 81.2% 的准确率，并能在边缘设备上高效运行。

本文比较了微调BERT（gbert-large）与少样本大语言模型提示（Llama 4 Maverick）在德语气候新闻句子中检测威胁与解决方案框架的效果。BERT获得了更高的F1分数（0.83 vs 0.78），消融研究表明提供前一句上下文可提升性能。

本文利用深度学习方法（LCF-BERT-CDM）研究了《自然·通讯》多轮同行评审中方面级情感的分布与演化，实现了82.65%的宏F1值，并发现随着评审轮次增加，正面情感上升而负面情感下降。

本文提出了一种新的多语言共指消解流水线，利用从英语到低资源语言的循环一致性机器翻译生成训练数据，并通过反向翻译和BERT相似性进行验证。在四种低资源语言上的实验表明，该方法带来了显著的性能提升，使得在没有现有语料库的语言中也能实现准确的共指消解。

本文提出了一种混合预训练目标，结合了JEPA潜在空间预测和MLM重建，用于语言模型，显示出改进的嵌入均匀性和语义-词汇平衡。