环境、智能体及智能体-环境联合系统的世界模型

# 环境、智能体及联合智能体-环境系统的模型世界
来源：https://arxiv.org/abs/2608.20401  
查看 PDF (https://arxiv.org/pdf/2608.20401)

> **摘要：**世界模型是基于模型的强化学习的核心组件。其讨论通常围绕它们预测的变量展开，例如观测、奖励、状态、潜在状态或信息状态。我们认为存在一个更基础的区分：即它们建模的是哪个信道。我们考虑三种情况：环境信道 $O\_{:\} \mid A\_{:\}$、智能体信道 $A\_{:\} \mid O\_{:\}$ 以及实现的联合过程 $(A, O)\_{:\}$，后者等效于一个无输入的信道。利用计算力学，我们将这三种情况的典型预测模型定义为 $\epsilon$-转换器或 $\epsilon$-机器。典型的环境模型恢复了标准的预测状态表示，而其他两种则给出了针对智能体和联合系统的类似典型模型概念。接着，我们通过闭环耦合构建了典型的、支持受限的环境与智能体模型，其预测等价性范围覆盖由已实现交互所支持的延续。关键的结构结果是：典型的支持受限环境状态通过典型联合因果状态进行因式分解，其转移结构直接由联合模型导出；智能体侧的构造具有对偶性。最后，我们给出了一个 POMDP/控制器示例，其中无限制的环境模型具有无限多状态，而由耦合诱导的典型支持受限模型却是有限的。该框架厘清了不同世界模型的建模对象，以及耦合与支持限制如何改变它们的典型预测结构与复杂度。

## 提交历史

来自：Manuel Baltieri [查看邮件 (https://arxiv.org/show-email/0fa2b818/2608.20401)]  
**[版本 1]** 2026年7月23日 星期四 13:35:03 UTC (1,816 KB)