gradient-based-optimization

本文介绍了Prototype-Based Sparse Steering方法，该方法将稀疏自编码器应用于大语言模型的注意力查询激活，然后在推理过程中使用梯度优化来引导生成朝向目标行为。该方法在一个逻辑规划任务和一个风格化教育领域中得到了验证，展示了可解释且解耦的控制能力。

本文提出潜在启发式搜索（LHS）框架，将启发式发现转移到学习的连续潜在流形上，利用基于梯度的优化和归一化流，在大语言模型条件下生成新颖启发式算法，在TSP、CVRP、KSP和在线装箱问题上取得了有竞争力的结果。