text-representation

论文提出LLMAE方法，利用潜在瓶颈将预训练的仅解码器LLMs重新定位为连续文本自编码器，实现高保真重建，并支持图像描述等下游任务。

# 通过对比预训练的文本和代码嵌入 源：[https://openai.com/index/text-and-code-embeddings-by-contrastive-pre-training/](https://openai.com/index/text-and-code-embeddings-by-contrastive-pre-training/) ## 摘要 文本嵌入是许多应用中的有用特征，例如语义搜索和计算文本相似性。以往的工作通常训练针对不同用例定制的模型，在数据集选择、训练目标和模型架构方面各不相同。在这