一个实现可靠结构化输出的廉价技巧：将验证错误反馈给重试

如果你从 LLM 生成结构化输出并针对 schema 进行验证，你清楚失败模式：通常正常，偶尔出现字段缺失或无法解析的响应。常规修复手段是重试，但简单重试使用的是相同提示和相同温度，相当于只是重新掷骰。对我而言，更有效的方法是让重试具有自我修正能力：当验证失败时，将验证错误和模型先前输出的内容放回下一个提示中，要求它修复具体问题。这样是编辑而非重新生成。 python except ValidationError as e: attempts += 1 error_message = f""" 上次响应因以下错误验证失败： <error>{format_error_for_llm(e)}</error> 修复错误并返回修正后的数据： <data>{serialize(response).decode()}</data> """ response = None # 下一轮循环会将 error_message 追加到提示中 两个细节很重要：向模型描述错误，而不是写日志（例如「字段 X 必须为整数，你传入了字符串」），并且把模型自己的先前输出作为待修正内容交给它。权衡：失败时会多一次调用且提示更长（设定尝试上限）；只有当错误输出足够可解析以回传时才有效；如果你还在不同提供商之间切换，不要把切换算作一次尝试。 这来自我构建的一个 RAG 平台。其他人是如何处理这个问题的？通过受限解码/语法，还是类似这样的反馈循环？