如果上下文压缩是扩散噪声函数会怎样？提案 + 未经训练模型实验的真实结果 [R]

我提出了一种处理超出模型上下文窗口的大量上下文的方法，将语义压缩视为类似扩散过程的噪声函数。模型不是像 DiffusionGemma 或 Nemotron-Diffusion 那样将掩码标记去噪为连贯文本（用于生成），而是以递减的压缩级别多次读取源文档，先重摘要，最后逐字，同时通过结构化编辑操作（如添加/替换/删除）迭代优化“整合状态”（输出）。上下文窗口只需容纳当前压缩视图，而非完整源。三个组成部分：上下文扩散：多遍读取器，在各遍次间优化整合状态，每遍次基于不同的源压缩级别。源文件保留在磁盘上，从不重构到窗口中。其架构与 Zhang、Kraska 和 Khattab 的递归语言模型（2025）高度收敛（我在写完大部分内容后才找到他们的论文，不主张对此多遍结构具有优先权）。基于扩散的语义压缩（DiSCo）：我认为这个框架是新颖的。使用语义压缩作为噪声函数，因此“噪声化”视图比源文件短得多，上下文长度由压缩器管理，而非模型窗口。这是与掩码或词汇级扩散不同的噪声域。遍次条件读取：训练时基于多遍调度中的位置进行条件化，使模型在早期遍次（从粗视图获得广泛理解）和晚期遍次（从逐字视图精确检索）学习不同的行为。 我实际测试的内容和真实结果：使用现成模型，未进行微调——这是一个未经训练的基准测试。到目前为止的结果：'并非不可行'，而非'有效'：-各组件在隔离状态下比完整的记录>保留>组合链条表现更好。-瓶颈在于遍次间的保留/重组。-预先注册的终止条件未满足并已报告。-微弱的信号足以证明训练一个小型模型的合理性，但还不足以宣称架构已被验证。方法论刻意严谨——终止条件、公布负面结果、记录自我纠正。希望这能让在没有实验室支持的情况下做出的小规模声明具有可信度。 致仍在阅读的各位两个问题：-现有技术：是否有人在扩散语言模型文献中见过压缩即噪声（将缩短长度的语义压缩作为扩散式迭代过程中的噪声调度）？我进行了广泛搜索但未找到，不过也很可能遗漏了某些内容。-下一步是使用合成数据进行模型训练，以测试训练是否能解决绑定瓶颈。我是一名独立研究员，使用消费级硬件，之前未进行过模型训练。如有任何指导，或如果有人拥有计算资源或希望合作，我将不胜感激。 提案：https://github.com/dev-boz/diffusive-semantic-compression 实验与完整发现：https://github.com/dev-boz/pass-conditioned-reading 存档于 Zenodo (DOI: 10.5281/zenodo.20695611)，采用 CC-BY-4.0 许可证。这是我发布的第一项成果。预料会被剖析。