无反向传播的Pong：PC + 分布式赫布可塑性 vs. PPO：57% vs. 59%，约1500行从零开始 [P]

想看看一个完全生物合理的智能体在Pong游戏中能多接近PPO。**设置** * 自定义Pong环境（pygame，无gym） * PPO基线：忠实于论文，从零开始 * 赫布智能体：用赫布价值估计替换PPO策略 * 手工特征 → 61% * BioAgent：预测编码用于特征学习 + 分布式赫布可塑性用于价值（Dabney等人，2020）→ 57% 整个流程中无反向传播。**关键观察** 1. 2%的差距虽小但真实。瓶颈并非缺失反向传播，而是自对弈中非平稳对手动力学下的灾难性遗忘。 2. 与标量赫布基线相比，分布式价值编码（类似Dabney）有助于稳定性，但不足以在自对弈中匹配PPO。 3. 自对弈严重暴露了可塑性-稳定性困境：快速适应的赫布规则也快速遗忘。这是非平稳设定下生物合理强化学习的真正障碍。不声称架构新颖性，因为这是一次从零开始的探索，旨在检验生物合理规则能否处理真实强化学习任务。简短回答：基本可以，但有一个明显的失败模式。代码：[github.com/nilsleut/Biologically-Plausible-RL-Plays-Pong](http://github.com/nilsleut/Biologically-Plausible-RL-Plays-Pong) 欢迎就预测编码实现、赫布价值估计器或自对弈设置提出问题。