mapreduce

     

Java Map的最佳实践 - tremblay

1672 3 4K

今天的主题是关于Map我在许多代码评审中看到过的错误。在Java 8中,添加了一些有用的新方法:if (map.containsKey(key)) { // one hash    return ma.

使用Map.merge()替代ConcurrentHashMap

2218 7K

Map.merge()意味着我们可以原子地执行插入或更新操作,它是线程安全的,ConcurrentHashMap虽然也是线程安全的,但不是所有操作都是,例如get()之后再put()就不是了,这时使用.

Apache Spark编程教程

2192 14K

Apache Spark是一个分布式计算平台,在当今非常流行,特别是因为与Hadoop mapreduce相比性能要好得多,Spark比基于磁盘的hadoop mapreduce 快了近100倍。让我.

10个SQL技巧之三:进行总计算

1351 2K

至少有十几种方法可以实现运行总计。从概念上讲,运行总计很容易理解。在Microsoft Excel中,您只需计算两个先前(或后续)值的总和(或差异),然后使用有用的十字光标在整个电子表格中提取该公式。.

Map/Reduce的形象解释图

1113 4 19K
.

一张图解说Map/filter/reduce

1 2935 5
Twitter用户‏@steveluscher用一张图简明精要形象解释了函数式编程中Map/filter/reduce的意义: 简单文字说明一下:map对玉米、牛和鸡这个集合进行烹饪操作,结果分别是.

Apche Spark的命运

2676 1

Spark取代了MapReduce,同样逻辑,什么会取代Spark?Apache Spark is doomed文章提出了自己的看法。Spark将数据装入内存in-memory, 比MapReduce.

数据表每天五千四百万数据,,如何汇总

6 2306

mysql数据表table1每天5千4百万数据,十张分表(或者五十张分表),目前还未确定分表数,数据量是确定了,根据表中四个字段(c1,c2,c3,c4)汇总,四个字段相同就可合为一条,累加金额。目前.

分解和组合的机器学习

1825

转发自分解和组件的抽象方法人的这种分解和组合思维能力也可通过机器学习算法进行模拟,再配合大数据进行训练,人工智能也就应运而生。其实Hadoop的Map/reduce算法本身就是一个分解和组合的算法,通.

Orzo.js是一个可用Javascript编程的Map-Reduce多线程实现

929

Orzo.js是一个简单的多线程Map/Reduce的Java实现,但是可以使用Javascript编程的库包。它设计为运行在单机多核上。Orzo.js的map-reduce脚本可使用JavaScri.

Google使用Pipeline统一了大数据批处理和流处理

2 6402 1
Google I/O大会上,Google宣布使用其google Cloud Dataflow替代原来的MapReduce,很多人误解为MR没有用了,以为MR被新的技术替代,其实并不是这回事。目前大数据.

使用Java 7.0的 Fork/Join框架进行并发编程

3985 1 4K
Concurrent programming with Fork/Join framework in Java 7.0fork/join框架主要是利用多核CPU并发,而之前介绍的Disruptor主要.