标签
该论文提出了 BanglaRhet，一个包含 30,289 个片段标注的孟加拉语政治演讲语料库，并对经典模型与 Transformer 模型（BanglaBERT、SahajBERT、XLM-RoBERTa）在修辞与说服技巧检测任务上进行了基准评测，其中 BanglaBERT 取得了最佳的宏平均 F1 值 66.46%。
本文对 Hierarchical Reasoning Models (HRM) 进行机制分析，以理解其在潜在空间中的内部推理过程，采用因果干预和稀疏自编码器等技术，在数独和 ARC-AGI-2 等任务上展开研究。
本文探讨了Transformer模型如何处理如代词和副词等功能词，分析了它们的嵌入表示和泛化能力。研究发现，在混合使用词汇化和功能句进行训练时，模型能学习到共享的句法-语义结构。
本文通过测量因果深度和多token混淆，研究语言模型中的潜在学习，以理解特质如何通过看似无关的输出进行传递。
本文分析了Z-loss在人工智能模型训练中的反向传播几何，提供了一个框架来理解和优化密集输出头与稀疏混合专家路由器中的梯度，并在GPT-2和Pythia模型上进行了评估。
本文介绍了一个基于Transformer的开源模块化框架，用于检测和构建气候文档中的社会临界点证据，使用了DistilBERT、RoBERTa、Mistral 7B和LLaMA 3.2 3B等模型，并在专家标注的基准上进行了评估。
本文研究变压器模型是否在多语言可读性评估中内化了与传统模型相同的语言特征，通过在五种语言上使用SHAP和TCAV进行分析。
本文提出了EPA-CarbonNet，一个六层变压器架构，用于碳信用价格预测，融合市场数据和政策文本，但在标普碳指数数据上的测试结果参差不齐，随机游走在某些指标上表现更优，而方向准确性则很有希望。
Sergey Levine 推荐 AI 机器人初学者阅读 ACT 或 ALOHA 论文，强调低成本机器人装置和简单的 Transformer 模型如何能够完成复杂的灵巧任务。
本文提出一种跨平台公平性评估框架，用于审计心理健康自然语言处理中的Transformer模型，揭示了当模型应用于不同社交媒体平台时，存在显著的性能与校准问题。
本文介绍了一种AI增强的RF干扰抑制方法，该方法使用带有有限标量量化分词器的Transformer模型，以提升性能并最小化延迟，并通过数字信号场景中的音频指标进行验证。
本文探讨了在使用电子废弃GPU搭建的家庭服务器上优化AI语言模型性能，并解释了Transformer模型和多GPU技术。
ATHENA是一个知识引导的代理神经架构搜索框架，通过跨医院重用架构知识来自动化Transformer基础的电子健康记录建模，以减少人工调优。
本文研究《Game of Hidden Rules》中的人工智能学习和概念迁移，重点关注基于Transformer的A2C框架的强化学习、规则难度分析、迁移学习和泛化。
本批判性叙述综述探讨了大语言模型和基于transformer的系统如何重塑Hadith计算科学，突出了数据资源和分段任务方面的进展，同时指出了叙述者验证和可重复性方面的差距，并提出了方法论强化的研究议程。
对BART、BERT和RoBERTa在文本摘要中的比较研究，探讨它们的架构以及在抽取式和生成式摘要任务中的适用性。
本文介绍了Strategic 16K，一个用于文档敏感性分类的泄露控制数据集，并对经典与基于Transformer的模型进行了基准测试，其中BERT在解决标签泄露问题的同时取得了最佳性能。
本文质疑了将动态参数化与动态推断混为一谈的做法，引入了冻结控制器审计（Frozen-Controller Auditing），以证明输入相关的系数并不意味着计算节省。在Transformer上的实验表明，尽管没有条件执行，静态逐层配置文件仍能保持近乎完整的性能。
本文针对从红外光谱中无约束分子结构解析的问题，提出了对编码器-解码器Transformer的改进，采用混合专家（MoE）解码器和对比对齐损失函数，在Top-K准确率上提升了超过10个百分点。
本文研究了经过指令微调的Transformer模型（LLaMA和Mistral）如何通过可解释性技术，在下一个词元预测任务中编码因果关系与对立关系的话语关系。