伪代码引导的结构化推理：实现视觉语言模型中可靠推理的自动化

arXiv:2605.19663v1 公告类型：新 摘要：视觉语言模型（VLMs）正在成为机器人自动化高级推理的基石，使机器人能够解析自然语言命令并感知其环境。然而，它们容易产生幻觉，在决策中引入关键性故障，给物理部署带来重大的安全性和可靠性风险。由于现实世界任务的开放性，问题在难度和模态上差异巨大，需要稳健且适应性强的推理策略，这一挑战变得更加严峻。为了解决这个问题，我们提出了伪代码引导的结构化推理框架（PStar），该框架自适应地选择结构化伪代码推理路径，帮助VLM进行灵活且逐步的推理。我们首先设计了一组抽象推理函数，并构建了一个结构化伪代码库来表示模块化推理策略。关键在于，我们设计了难度特征向量（DFV），使模型能够评估问题复杂度并自适应地选择合适的推理策略——增强了鲁棒性和可解释性。大量实验表明，PStar显著降低了幻觉率，在POPE上达到87.1%，在MMStar上达到68.0%，甚至超越了GPT-4V。通过提供减少视觉语言错误的经过验证的机制，PStar为在现实世界自动化系统中部署更可信、更确定的VLM迈出了关键一步，这些系统中的错误可能导致灾难性后果。