标签
本文提出了一种基于强化学习的自适应仿真到真实对齐方法,用于振动轴承健康监测,通过近端策略优化解决数据稀缺和异质故障类型差距问题。
本文提出了一种新颖的说话人确认框架,该框架结合了冻结的自监督特征、ECAPA-TDNN和专家混合模块,通过条件蒸馏和对比损失来改进语音和非语言发声中的身份确认,同时防止灾难性遗忘。
本文提出一个统一框架,用于在企业环境中定制和部署基于LLM的多智能体系统,结合了持续预训练、微调和偏好优化的模型定制,以及使用推测解码和FP8量化的推理优化。在保持企业工作负载性能的同时,实现了4.48倍的吞吐量提升。
引入了“Machine Studying”概念,即从文档语料库中发展专业知识的问题,与持续学习不同。
介绍TimeMoDE,这是一个将扩散Transformer与混合专家模型相结合的框架,用于在数据稀缺条件下生成逼真的时间序列。该框架通过在多个领域的数据集上进行预训练,并利用领域提示来处理领域特定特征,同时结合扩散时间步信号实现自适应去噪。
本文提出了MentalMARBERT,一个面向社交媒体文本中阿拉伯语心理健康障碍检测的领域自适应语言模型。该框架采用领域自适应预训练和两阶段微调方法,在新构建的包含50,670条推文的阿拉伯语心理健康数据集上实现了0.877的准确率和0.861的宏F1分数。
ADAPTOOD 是一种新颖框架,利用数据不确定性量化分布偏移的严重程度,并指导心电图时间序列模型在分布外设置下的微调。它将不确定性估计与低秩模型更新和自适应超参数优化相结合,在现有OOD自适应方法基础上实现了高达7%的准确率提升和12.9%的精确度提升。
本文介绍了CoughSense系统,该系统利用经过微调的Whisper编码器(采用主动帧池化)将咳嗽录音分为五类呼吸系统疾病,实现了82.3%的平衡准确率,并已部署为实时移动应用。
介绍RESCAST-100K,一个用于跨领域住宅负荷与室内温度预测的大规模基准数据集,包含模拟与真实数据,支持迁移学习、域适应和零样本泛化的评估。
本文通过在哥白尼前的语料库上训练,研究领域适应如何重塑语言模型中的解释行为,发现微调对解释框架的转变大于对宇宙学立场的转变。
本文介绍了半监督噪声自适应(SSNA),一种新颖的框架,它利用合成噪声域(例如高斯分布)作为替代源域,以提高半监督学习设置中的泛化能力。所提出的噪声自适应框架(NAF)建立了一个泛化边界,并展示了改进的目标域性能。
DOMINO 是一个新颖的框架,它从参考示例中学习最小充分的领域表示,为LLMs合成领域特定数据,从而在不要求显式领域描述的情况下提升代码基准性能。
LELA是一个基于LLM的实体链接框架,将零样本命名实体识别和实体消解整合为端到端的Python库,并在多种场景下验证了其有效性。
本文提出了Gen-ROTDA,一种鲁棒最优传输引导的残差域适应框架,用于时间域偏移下的共享单车需求预测,与基线方法相比,在稳定性与准确性上均有提升,尤其适用于含噪目标数据。
RADAR是一种基于几何的度量,通过分析表征的逐层角度与距离变化,并利用域内与跨域轨迹分布之间的KL散度,来估计基础模型中的跨领域可迁移性。
本文介绍了Expectation Consistency Loss (ECL),这是一种基于理论的损失函数,用于在协变量偏移下校准分类器置信度,该函数源自一个称为Expectation Consistency Condition的必要充分条件。
EmbGen 是一种合成数据生成流水线,它通过嵌入相似度将语料库重组为实体-描述配对,从而生成多样化的问答对,用于在专业领域微调小型语言模型,显著提升了事实准确性。
本文介绍了HPC-LLM,一个面向HPC工作流的检索增强与领域自适应助手,基于HPC文档使用QLoRA微调Llama 3.1 8B模型。实验表明,该模型在资源需求显著降低的情况下,性能与更大的通用模型相当。
本文提出了一种针对专业领域LLM文本摘要的参数高效词表适配方法,通过扩充预训练分词器中的领域专用词元并选择性替换训练不足的词元,将训练时间减少35-55%,参数数量减少高达37%。
TILT提出了一种新颖的目标函数,用于在协变量偏移下进行无监督域适应,该函数对未标记目标数据上的辅助组件施加惩罚,隐式实现了具有有界估计量的自定位重要性加权。理论保证和在偏移CIFAR-100上的实验表明,目标域性能优于基线方法。