重新审视 Dataflow Model

# VLDB会议录 来源：https://www.vldb.org/pvldb/volumes/19/paper/The%20Dataflow%20Model%20Revisited 作者： Tyler Akidau、Rafael Fernández\-Moctezuma、Reuven Lax、Daniel Mills ### 摘要 十一年前，数据流模型论文曾提出：无界、乱序的数据已成为新常态，我们必须停止等待数据完整性。该论文提出了一种统一模型（窗口、触发器、水印和撤回），允许在批量与流式引擎间自由权衡正确性、延迟与成本。值此论文荣获VLDB"时间检验奖"之际，我们对这篇实质探讨流式分析的论文进行复盘——审视其中历久弥新的观点、已显陈旧的部分，以及被忽略的洞见。我们发现论文的核心基础依然坚实：事件时间的首要性、等待完整性的徒劳性，以及对强一致性的坚持均经得起时间检验。但我们在分析接口的关键层面存在误判：(1) 让语义与操作问题纠缠的窗口机制和触发机制，其论述比重超出了应有位置；(2) 触发器是针对用户本不应面临问题的过度工程化方案；(3) 以流为中心的世界观未能揭示更深层的真相：流与表是同一对象在不同访问语义下的两种表现形式。最终实现论文分析目标的技术路径，实际上源自数据库领域的方法论：SQL、增量视图维护，以及带有显式时效性约束的物化视图。我们过度关注流处理的机械原理，却未能完成数据库社区开创但未竟的事业：让分析性流处理的复杂性近乎彻底消失。尽管如此，本文并非全然忏悔。我们探讨了完整性原则如何分化为两种成功形态：水印（保持流的可见性）与快照一致性刷新（使其不可见）；我们追溯后者为何能服务更广泛用户——因其对用户要求更低，并将前者泛化为对数据变化的显式约束声明。我们还(1)发现批处理与流处理之争本质多是语义之争；(2)见证低延迟需求沿传统OLTP/OLAP分野分化，使分析场景得以在更宽松的时效性要求下稳步发展；(3)采用我们早该使用的分析框架（纳入考虑、排除简化、强化聚焦）；(4)思考流式处理超越分析领域后可能的最终归宿。