论文页面 - 基于检索增强搜索的 LLM 程序优化

来源：https://huggingface.co/papers/2501.18916

摘要

使用检索增强搜索和原子编辑分解的黑盒适配方法，可同时提升 C++ 和 Python 代码的程序优化性能。

近期研究已展示了大型语言模型（LLM）在程序优化（编程语言领域的关键挑战）方面的潜力。我们提出了一种名为检索增强搜索（RAS）的黑盒适配方法，该方法对候选优化方案执行束搜索；在每一步中，它会从给定的慢速-快速程序对训练数据集中检索上下文示例，以引导 LLM。关键的是，我们发现基于 LLM 生成的自然语言描述进行上下文检索，其效果显著优于基于源代码的检索。我们还提出了 AEGIS，一种通过将训练示例分解为本质上更渐进的“原子编辑”来提高可解释性的方法。我们证明，在优化 C++ 程序方面，RAS 的表现比先前最先进的黑盒适配策略高出 2.06 倍；而 AEGIS 在做出显著更小编辑的同时，性能提升可达 1.37 倍。我们还表明，使用 RAS 可将 Python 程序的平均运行时间百分位数比基线提高 10.27。

查看 arXiv 页面 (https://arxiv.org/abs/2501.18916) 查看 PDF (https://arxiv.org/pdf/2501.18916) 项目页面 (https://sagnikanupam.com/papers/llmprogramoptimization/index.html) GitHub2 (https://github.com/sagnikanupam/llmprogramoptimization) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2501.18916)

在你的代理中获取该论文：

hf papers read 2501\.18916

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型链接至本论文

请在模型 README.md 中引用 arxiv.org/abs/2501.18916，以便从此页面链接。

引用此论文的数据集0

无数据集链接至本论文

请在数据集 README.md 中引用 arxiv.org/abs/2501.18916，以便从此页面链接。

引用此论文的 Spaces0

无 Space 链接至本论文

请在 Space README.md 中引用 arxiv.org/abs/2501.18916，以便从此页面链接。

包含此论文的收藏集0

无收藏集包含本论文

请将本论文添加到一个收藏集 (https://huggingface.co/new-collection) 中，以便从此页面链接。