Apche Spark的命运

                   
banq 15-08-20

Spark取代了MapReduce,同样逻辑,什么会取代Spark?

Apache Spark is doomed文章提出了自己的看法。

Spark将数据装入内存in-memory, 比MapReduce查询提升100倍, Spark在磁盘管理上的查询比MapReduce 快10倍,对于大数据领域,速度提升是巨大的。

MapReduce统治了大数据领域十年的地位正在被Spark替代。Spark有如下优势:
1.Spark有丰富表达的统一API,能够比MapReduce降低代码量2到5倍。
2.Spark应用比MapReduce快不是一个数量级
3.Spark为批处理和流处理提供几乎统一的API。

今天Apache Spark已经统治了大数据计算领域,不久前所有的还是MapReduce地盘。

那么谁会替代Spark?

作者虽然没有给出具体的产品,但是提出了替代Spark的进化逻辑,那就是易用性,也就是开发人员的易于使用,Spark成功的最大原因之一也是其相对易用,Spark主要使用库包支持,能让用户部署与数据交互的同样执行引擎,这些数据室在不同库包中共享。

鉴于MapReduce的短命,,很难想象Spark的命运会更好些,很难在竞争选项中挑出胜利者,越易于使用应该越容易成功。
[该贴被banq于2015-08-20 11:51修改过]

1