Google使用Pipeline统一了大数据批处理和流处理

14-06-26 banq
Google I/O大会上,Google宣布使用其google Cloud Dataflow替代原来的MapReduce,很多人误解为MR没有用了,以为MR被新的技术替代,其实并不是这回事。

目前大数据处理领域主要有MR代表的批处理和Storm代表的流式实时处理。批处理的缺点是实时性比较差,在Storm作者提出的大数据Lambda架构中,曾经提出近期数据归为Storm来处理,如果超过一定期限由MR处理,这需要在两个不同代码风格之间转换。

Google引入了Pipeline来统一了批处理和实时处理,由统一的代码实现两种处理,使用Cloud Dataflow 云平台支持。


Dataflow是设计为处理非常非常大的数据集和复制的工作流,也就是说,MR只适合大数据集+简单流程的应用场景,Dataflow能够自动优化 pipeline,并且管理底层基础设施, Dataflow 自己是语言无关的。目前虽然第一个SDK首先支持Java。

Google大会上展示了使用Dataflow作为异常检测的案例,对世界杯数据历史进行流分析以便发现异常,如果检测到异常会自动采取行动。

[该贴被banq于2014-06-26 21:50修改过]

                   

1
banq
2014-06-26 21:55
Google I/O大会上还公布了安卓穿戴Android Wear SDK,Android可穿戴能够连接真实和虚拟世界。

安卓穿戴的特点如下:

(1)上下文场景感知和智能. 这些设备会将计算感知提高到一个新层次,根本无需用户的关注或输入,安卓可穿戴设备能够自动感知它目前的位置和状态,有帮助地在合适时间显示合适信息。Timely, relevant, specific.

(2)扫视Glanceable. 可穿戴设备可在全天使用,有效的应用能以有意识地提示重点信息,提供相应信息的片段。 Short, sharp, immediate.

(3)零/低交互性. 坚守一最少形式获得更强功能,交互简单,只是在绝对需要时才要求用户输入,大多数输入基于挥摸或声音,避免需要高腻度的细致输入技巧。Gestural, simple, fast.

(4)有帮助性的Helpful. 安卓穿戴像一个专业个人助理,它知道你的特性,只是在需要必要时打扰你,总是处于待命回复状态。 Efficient, respectful, responsive.

安卓穿戴通过尊重用户注意力的情况下,提供一种智能连接世界的方法。安卓穿戴感觉像个人化 全局化 简单而且智能,同时又是不显眼随时待命,通知提示都会尊重这些原则。

安卓穿戴安装入门教程

[该贴被admin于2014-06-26 22:04修改过]

banq
2014-06-30 10:57
Twiiter也发布博文,详谈了他们使用PipeLine统一了大数据批处理和流实时处理具体设计细节:

Twitter基于时间流的聚合设计

不过,LinkedIn对Google和Twitter这种混合实时流处理和批处理的Lambda架构提出了质疑:

质疑Lambda架构

[该贴被banq于2014-07-04 15:20修改过]

猜你喜欢