discrete-optimization

ReQuant introduces a backpropagation-free, fixed-grid discrete refinement stage for post-training quantization (PTQ) that iteratively improves initial quantized models while preserving the quantized format, showing consistent gains across various LLMs and bit-widths.

本文提出BayesPO，一种使用梯度引导离散MCMC与并行回火的贝叶斯提示优化框架，在指令归纳任务上提升了准确率。

TROPT是一个开源框架，统一了离散文本触发优化，标准化了在LLM越狱和模型可解释性等领域中的开发与执行。它包含超过15种优化器和30个配方，降低了采用和推进的门槛。