Google使用Pipeline统一了大数据批处理和流处理

14-06-26 banq

Google I/O大会上,Google宣布使用其google Cloud Dataflow替代原来的MapReduce，很多人误解为MR没有用了，以为MR被新的技术替代，其实并不是这回事。

目前大数据处理领域主要有MR代表的批处理和Storm代表的流式实时处理。批处理的缺点是实时性比较差，在Storm作者提出的大数据Lambda架构中，曾经提出近期数据归为Storm来处理，如果超过一定期限由MR处理，这需要在两个不同代码风格之间转换。

Google引入了Pipeline来统一了批处理和实时处理，由统一的代码实现两种处理，使用Cloud Dataflow 云平台支持。

[img index=1]

Dataflow是设计为处理非常非常大的数据集和复制的工作流，也就是说，MR只适合大数据集+简单流程的应用场景，Dataflow能够自动优化 pipeline，并且管理底层基础设施， Dataflow 自己是语言无关的。目前虽然第一个SDK首先支持Java。

Google大会上展示了使用Dataflow作为异常检测的案例，对世界杯数据历史进行流分析以便发现异常，如果检测到异常会自动采取行动。

[该贴被banq于2014-06-26 21:50修改过]

banq

2014-06-26 21:55

Google I/O大会上还公布了安卓穿戴Android Wear SDK，Android可穿戴能够连接真实和虚拟世界。

安卓穿戴的特点如下：

（1）上下文场景感知和智能. 这些设备会将计算感知提高到一个新层次，根本无需用户的关注或输入，安卓可穿戴设备能够自动感知它目前的位置和状态，有帮助地在合适时间显示合适信息。Timely, relevant, specific.

（2）扫视Glanceable. 可穿戴设备可在全天使用，有效的应用能以有意识地提示重点信息，提供相应信息的片段。 Short, sharp, immediate.

（3）零/低交互性. 坚守一最少形式获得更强功能，交互简单，只是在绝对需要时才要求用户输入，大多数输入基于挥摸或声音，避免需要高腻度的细致输入技巧。Gestural, simple, fast.

（4）有帮助性的Helpful. 安卓穿戴像一个专业个人助理，它知道你的特性，只是在需要必要时打扰你，总是处于待命回复状态。 Efficient, respectful, responsive.

安卓穿戴通过尊重用户注意力的情况下，提供一种智能连接世界的方法。安卓穿戴感觉像个人化全局化简单而且智能，同时又是不显眼随时待命，通知提示都会尊重这些原则。

安卓穿戴安装入门教程

[该贴被admin于2014-06-26 22:04修改过]

banq

2014-06-30 10:57

Twiiter也发布博文，详谈了他们使用PipeLine统一了大数据批处理和流实时处理具体设计细节：

Twitter基于时间流的聚合设计

不过，LinkedIn对Google和Twitter这种混合实时流处理和批处理的Lambda架构提出了质疑：

质疑Lambda架构

[该贴被banq于2014-07-04 15:20修改过]