@AlphaSignalAI:现在你可以在不训练的情况下,将任意LLM的准确率提升2-10倍。大多数团队通过微调或更换更大模型来提高模型准确率…
摘要
OptiLLM是一个开源代理,通过在推理时增加额外计算,将任意LLM的准确率提升2-10倍,使用了多智能体交叉验证和蒙特卡洛树搜索等技术。
查看缓存全文
缓存时间: 2026/05/25 04:44
你可以无需训练,将任何LLM的准确率提升2-10倍。
大多数团队通过微调或换用更大的模型来提升模型准确率。
这两种方式都既耗时又费钱。
OptiLLM 走了一条不同的路。
它是一个开源代理,位于你的应用与任何兼容OpenAI的API之间。
它不进行训练,而是在推理时花费额外的计算资源,先在回答前更深入地思考。
该仓库捆绑了20多种推理技术,你可以通过一个参数启用它们。
其中部分方法:
多智能体交叉验证
蒙特卡洛树搜索
带反思的思维链
N中最佳采样
Z3定理证明器路由
数据是最吸引眼球的。
在 AIME 2025 上,Gemini 2.5 Flash Lite 的准确率从43.3%跃升至73.3%。
Llama 3.3 70B 在 Math-L5 上提升了18.6个百分点。
GPT-4o-mini 在 Arena-Hard-Auto 上达到了与 GPT-4 相当的水平。
无需重新训练。只需通过代理转发你的请求即可。
相似文章
@tom_doerr: 无需训练即可提升 LLM 推理准确性 https://github.com/codelion/optillm…
OptiLLM 是一款开源推理代理,采用先进技术无需重新训练即可将 LLM 推理准确性提升高达 10 倍,兼容各种 AI API。
AccelOpt:一种用于AI加速器内核优化的自我改进LLM智能体系统
AccelOpt是一种自我改进的LLM智能体系统,通过迭代生成和优化记忆自主优化AI加速器内核,在AWS Trainium上实现了49%至61%的峰值吞吐量提升,同时比Claude Sonnet 4便宜26倍。
我们不再手动优化 LLM 技术栈——现在它实现了自我优化
本文描述了一家企业如何实现向自我优化 LLM 技术栈的转型。该系统利用生产环境中的调用追踪数据,自动路由请求并微调模型,从而显著降低了成本并提升了性能。
@_avichawla: 研究人员发现了一种让大语言模型(LLM)提速 8.5 倍的方法!(且不影响准确度)投机解码相当有效……
研究人员提出了 DFlash 技术,这是一种利用块扩散模型(block diffusion models)进行投机解码的方法,可在不损失准确度的情况下,将大语言模型推理速度提升高达 8.5 倍。该技术已集成到 vLLM 和 SGLang 等主要框架中。
AutoLLMResearch:通过从低成本学习来优化高成本,训练研究智能体以自动化大型语言模型实验配置
本文介绍了 AutoLLMResearch,这是一个智能体框架,旨在通过在低保真环境中学习并外推至高成本设置,实现昂贵的大型语言模型(LLM)实验配置的自动化。其目标是减少可扩展 LLM 研究中的计算浪费以及对专家直觉的依赖。