双聚类记忆智能体：消解优化问题求解中的多范式歧义

# 双聚类记忆智能体：消解优化问题求解中的多范式歧义
来源：https://arxiv.org/html/2604.20183  
Xinyu Zhang1,2, Yuchen Wan1,2∗, Boxuan Zhang1,2, Zesheng Yang1,2, Lingling Zhang1,2, Bifan Wei1,2, Jun Liu1,3  
1西安交通大学计算机科学与技术学院  
2智能网络与网络安全教育部重点实验室  
3陕西省大数据知识工程重点实验室  
[email protected], {zhanglling,liukeen}@xjtu.edu.cn

###### 摘要

大语言模型（LLM）在优化问题中常因“结构歧义”而受阻：同一问题存在多种相关却互斥的建模范式，导致难以生成有效解。为此，我们提出**双聚类记忆智能体（DCM-Agent）**，无需训练即可利用历史解提升性能。其核心是**双聚类记忆构建**：将历史解划分为“建模”与“编码”两类聚类，每类再提炼为三种结构化知识——**方法（Approach）**、**核查单（Checklist）**与**陷阱（Pitfall）**，形成可泛化指导。进而引入**记忆增强推理**，动态导航求解路径，检测并修复错误，在范式不可行时自适应切换。七个优化基准实验表明，DCM-Agent 平均提升 11%–21%。更有趣的是“知识继承”现象：大模型构建的记忆可让小模型获得更强性能，彰显框架的可扩展与高效。

---

## 1 引言

优化问题是运筹学的根基，支撑着从供应链到经济预测等众多应用。传统求解依赖专家将文本描述手工转化为模型，耗时费力。近年来，大语言模型在多域推理上表现亮眼，也重塑了优化建模：借助领域知识自动完成文本→模型的转换，降低对人工的依赖。然而，LLM 在这一任务上仍受限于“范式纠缠”带来的认知干扰：同一问题可能同时给出矛盾信号——“整倍数”提示用约束规划（CP），“资源最大化”暗示整数线性规划（ILP），“阶段依赖”又指向动态规划（DP）。这些特征各自相关，却共同构成干扰。

现有方法暴露缺陷：微调易被干扰误导，机械套用模板；智能体框架在验证时缺乏粒度，无法区分 ILP 的线性缺口与 DP 的递推失效。为此，我们提出**DCM-Agent**，无需训练，通过“外化”历史推理模式来平衡灵活性与结构性。其核心包括：

1. **双聚类记忆构建**：将历史数据（成功与失败）组织为“建模聚类”与“编码聚类”的二部图，提炼出 Approach/Checklist/Pitfall 三层知识，显式映射决策空间。  
2. **记忆增强推理**：生成-验证-修复-回溯流水线动态调用上述知识，检测范式相关错误并自动切换路径。

在七个基准上，DCM-Agent 将不同规模 LLM 的准确率平均提升 11%–21%，且无需训练开销。关键发现：**大模型构建的记忆可直接让小模型受益**，验证框架的可扩展与零训练优势。

---

## 2 相关研究

### 2.1 基于 LLM 的优化建模  
提示策略（多智能体、树搜索）与微调方法（FOARL、ORLM、SIRL）并行发展，前者提升通用推理，后者内嵌领域模式。

### 2.2 检索增强推理  
LLM 内生知识易 hallucination，检索增强通过外部验证缓解。ReAct、RAT 等动态修正思维链，OptiTree 在优化领域检索相似子问题以支撑可验证建模。

---

## 3 方法

### 3.1 概览  
将 LLM 求解形式化为：  
ŷ = ℰ( hψ(c|m) ⏟ Coding ∘ gφ(m|x) ⏟ Modeling )  
其中 gφ 生成建模逻辑 m̂，hψ 合成可执行代码 ĉ，ℰ 为执行器。x→m̂→ĉ 存在一对多映射，需强判断力。DCM-Agent 显式解耦建模与编码，分两个阶段：

1. **双聚类记忆构建**：实例→节点→聚类→三层知识 K。  
2. **记忆增强推理**：新问题上检索相关聚类，迭代生成-验证-修复-回溯。

维护动态记忆 𝒟：节点存轨迹，聚类存高层知识 K，并用二部图 𝒢 连接建模与编码聚类，量化兼容性。

### 3.2 双聚类记忆构建

#### 3.2.1 节点级构建  
采集与评测集不相交样本，按结果分为：  
- A 类（恒对）：多次均正确，提供标杆模式。  
- B 类（修复）：初败后成，揭示失败→成功路径。  
- C 类（恒败）：持续失败，暴露根本错配。

将问题-解拆分为建模与编码组件，生成嵌入 em, ec，并提取三元组  
Φn = ⟨φnapproach, φnchecklist, φnpitfall⟩  
成功节点提炼 approach & checklist，失败节点提炼 pitfall。

| 指导层 | 来源 | 内容定义 |
|--------|------|----------|
| φapproach | A+B | 解法模板与逻辑步骤（如何解） |
| φchecklist | A+B | 合法性检查与边界验证（验什么） |
| φpitfall | B+C | 常见错误与约束违反（避什么） |

#### 3.2.2 聚类级演化  
节点→聚类→知识综合→二部图 𝒢 量化建模-编码兼容性（后续节详述）。