llm-embeddings

本文研究了使用大语言模型（LLMs）和监督分类器从社交媒体文本中检测抑郁症的方法，提出了一种基于提示的嵌入方法以增强可解释性。在多个数据集上的实验表明，零样本LLMs在二分类任务中表现良好，但在细粒度严重程度分类上表现不佳；而基于LLM摘要嵌入的监督模型在多分类和有序分类任务中取得了更一致的表现。

提出TempoWave，一种即插即用的时间小波数字接口，将时间序列观测值映射为基于多小波系数的逐位嵌入，改进了基于LLM的时间序列预测，并在多个基准上达到最先进水平。

本文提出了一种界定概念的方法，并训练线性探测器在大语言模型的嵌入中检测这些概念，以四个示例概念在三个模型上进行验证。该工作旨在实现对LLM内部表示的可扩展监控。