标签
本文提出了一种混合模型，将DistilBERT嵌入与全息约简表示向量相结合，编码认知语言特征（第一人称代词、绝对化词语、负面情绪比率），用于检测Reddit帖子中的抑郁症，取得了0.94的宏F1值，并表明理论驱动的特征能够补充上下文嵌入，为可解释的心理健康自然语言处理提供支持。
使用 ml-intern 和 DeepSeek V4 Flash 训练了一个提示注入分类器，使用 DistilBERT 实现 F1 99%，优化至 ONNX int8（约 65 MB），可通过 Transformers.js v3 在浏览器中运行。
本文介绍了 Switchcraft，这是首个专为智能体工具调用优化的 AI 模型路由器，旨在降低推理成本。通过使用轻量级的 DistilBERT 分类器，它在保持高工具使用准确性的同时，实现了显著的成本节约。
一项对比研究，评估了三种可解释性技术（Integrated Gradients、Attention Rollout、SHAP）在微调 DistilBERT 模型上的表现，用于情感分类任务，重点突出了基于梯度、基于注意力和模型无关方法在大语言模型可解释性中的权衡。