Streaming Systems下载

Streaming System这本书的强大之一，或者说Beam Model数据流处理思想的强大之一，就在于可以用这套思想来套路几乎任何系统，比如我们可以用Beam Model的思想来理解Spanner的truetime在分布式事务中的使用，可以假设每台机器的本地时钟的流动就好像watermark的流动(假设通过超光速往下游流动，方便理解，后边拿掉)，任何参与事务的机器的prepare就好像他们的prepare event和watermark一起流动到了coordinator，coordinator使用一个session window和atWarterMark Trigger等待所有参加事务的event到达，选择commit时间戳且所有上游的watermark超过这个commit时间戳，作为session window的结束。可以看到coordinator决定commit时间戳之后需要等待的时间必定不超过ε，所以就算不通讯(拿掉超光速watermark时间戳流)去持续等待上游的watermark，coordinator也可以通过等待ε来保证commit时间戳的单向增长性。