embedding-optimization

本文研究了利用连续嵌入空间优化从仅解码器语言模型的最后一层隐藏状态恢复输入令牌序列的问题，揭示了高频功能词是主要失败点，而内容词几乎完美恢复，实现了高达97.5%的精确匹配率。

本文提出一种方法，通过在测试时优化固定小样本提示的连续嵌入来改进上下文学习，该方法利用模型对数概率导出的自监督置信代理，无需微调或生成令牌。