标签
DataStates-LLM提出了一种可扩展的检查点架构，利用可组合的状态提供程序，相比于现有解决方案，吞吐量提升高达4倍，训练时间减少2.2倍。
本文系统性地实证研究了针对《古兰经》自动语音识别（ASR）的预训练Transformer模型（Wav2Vec2.0、HuBERT、XLS-R）微调，在EveryAyah子集上实现了0.08的词错误率（WER），并将训练时间从140小时减少到40小时，其中Wav2Vec2-XLSR-53提供了最佳表示。
Google研究人员发表了一篇论文，总结了从TPU v2到Ironwood的TPU超级计算机的演进，详细介绍了架构稳定性、规模、弹性、能效以及八年间3600倍的性能提升。
作者询问如何分析神经网络中探针的相对“强度”，讨论了词汇量有限和模型容量等挑战，并以Google Gemini为例说明了失败情况。
本文介绍了一种双重诊断框架，用于追踪LLM中代码推理的内部生命周期，揭示了模型首先‘酝酿’答案，然后分化为四种解析结果，且跨架构的酝酿稳定性一致，但解析成功率不同。
本文介绍了COVA-X，一个用于短信钓鱼检测的扩展合成多轮对话数据集，并表明Longformer现在优于XGBoost，从而证实了Transformer模型受益于更大的训练语料库。
# 悉尼科技大学研究人员对比微调 Transformer 与零样本 LLM 在 Reddit 虚假信息回应分类任务中的表现 悉尼科技大学的研究人员对微调 Transformer 模型（DistilBERT、RoBERTa）与零样本 LLM（Llama 系列、Claude、Gemini）在 Reddit 虚假信息回应分类任务中的性能进行了比较，发现微调后的 RoBERTa 达到了 0.62 的宏观 F1 分数，而最佳零样本模型仅为 0.50。研究表明，针对特定任务的微调优于更大规模的通用模型，在检测信念传播方面尤为突出，同时前沿模型中的安全对齐机制可能会对模型性能产生负面影响。
金融机构正从孤立的AI模型转向基于Transformer架构的统一交易基础模型，如NVIDIA的报告和Revolut的PRAGMA模型所示，该模型改善了欺诈检测、信用评分和推荐，同时减少了特征工程工作量。
本文研究了知识编辑方法ROME和MEMIT的内部机制，揭示了这些编辑依赖于一个共同的权重功能子空间，且是抑制而非覆盖知识，从而解释了编辑为何无法传播到相关事实。
本文通过在地缘政治动荡定义的三个时期的乌克兰法院判决上微调Transformer模型，研究法律判决预测中的时间概念漂移。发现显示严重的前向退化、反向迁移的不对称性，以及按时间顺序的持续学习有效缓解遗忘，而领域预训练降低退化幅度。
本文提出了一种针对Transformer模型的类睡眠巩固机制，该机制利用快速权重和递归传递来改进长上下文处理，同时保持推理速度。
本文介绍了 Counter Turing Test 共享任务在AI生成文本检测方面的发现，顶级系统在二分类任务中达到了完美表现，但在模型归因方面性能显著较低，突显了区分不同大语言模型输出的难度。
该论文提出了一种基于Transformer的模型，用于在连续的左-右光谱上预测德语政治文本的政治意识形态。研究比较了13个模型，发现DeBERTa-large和Gemma2-2B在不同任务上表现最佳。