#hadoop

      更多分类

Apache Spark编程教程

19-01-12 143 banq

Apache Spark是一个分布式计算平台,在当今非常流行,特别是因为与Hadoop mapreduce相比性能要好得多,Spark比基于磁盘的hadoop mapreduce 快了近100倍。让... 详细

Trivagoj为何从Hive/SQL迁移到PySpark/Python?

18-12-17 42 banq

Trivago是一个以拍卖为基础的市场。广告商可以通过拍卖购买指定酒店的查询结果页面中的重要位置,trivago的拍卖机制将几个因素:价格、点击率和出价本身,以确定拍卖获胜者。当您访问trivago... 详细

优步大数据平台处理100多PB数据却只有分分钟延迟!

18-10-19 342 1 banq

优步致力于在全球市场上提供更安全,更可靠的运输服务。为实现这一目标,优步在很大程度上依赖于在各个层面制定数据驱动的决策,从预测高流量事件期间的需求到识别到解决我们的驾驶员 - 合作伙伴注册流程中的瓶... 详细

Apache Hadoop管理的23个技巧

18-10-14 129 1 banq

本文由Renata Ghisloti Duarte Souza Gra撰写。 在这篇文章中,我将分享我在使用Apache Hadoop环境多年后学到的一些技巧。这里的经验主要考虑了Apache H... 详细

Apche Spark的命运

15-08-20 1870 1 banq

Spark取代了MapReduce,同样逻辑,什么会取代Spark? Apache Spark is doomed 文章提出了自己的看法。 Spark将数据装入内存in-memory, 比Ma... 详细

实时流处理框架Apache Flink简介

15-05-08 8674 4 banq

如今流处理越来越流行,例如Apache Kafka, Apache Samza, Apache Storm, Apache Spark的Streaming模块等等,云服务还有类似Google Clou... 详细

Hadoop与Spark等数据处理系统哪个是最好的?

15-04-28 2 1798 2 banq

如今我们拥有广泛的数据处理系统选择:Hadoop, Spark, Naiad, PowerGraph, Metis 和 GraphChi 等,这些不同框架的最佳性能其实高度依赖于高阶的工作流程,其次,... 详细

Spark只比Hadoop快19% ?

15-03-20 1 3529 5 banq

Spark比Hadoop并没有想象得那么快,以前号称快100倍,实际只快19%,这是 Making Sense of Performance in Data Analytics Frameworks.... 详细

针对Hadoop的分析工具:statsd-jvm-profiler

15-01-15 316 banq

statsd-jvm-profiler是一个JVM代理分析器,它用来专门分析Hadoop的job任务,但是也可以用于任何JVM进程。 etsy/statsd-jvm-profiler · Git... 详细

H2O是开源基于大数据的机器学习库包

14-11-23 2185 1 banq

H2O 能够让Hadoop做数学,H2O是基于大数据的统计分析 机器学习和数学库包,让用户基于核心的数学积木搭建应用块代码,采取类似R语言 Excel或JSON等熟悉接口,使的BigData爱好者和... 详细

分解和组合的机器学习

14-11-04 412 banq

转发自 分解和组件的抽象方法 人的这种分解和组合思维能力也可通过机器学习算法进行模拟,再配合大数据进行训练,人工智能也就应运而生。 其实Hadoop的Map/reduce算法本身就是一个分解和组... 详细

质疑Lambda架构

14-07-04 7223 8 banq

Google和Twitter刚发布它们综合实时流处理和批处理的Lambda架构,LinkedIn的Jay Kreps则对这种架构提出了质疑,指出实时处理和批处理其实是两种范式,将它们硬生生捆绑在一起会... 详细

Google使用Pipeline统一了大数据批处理和流处理

14-06-26 2 4465 1 banq

Google I/O大会上,Google宣布使用其google Cloud Dataflow替代原来的MapReduce,很多人误解为MR没有用了,以为MR被新的技术替代,其实并不是这回事。 目前大... 详细

纽约证券交易所的实时Map/Reduce大数据分析

13-11-25 3 3026 3 banq

Streaming Map/Reduce on Wall Street | Concurrent M 我们在纽约证券交易所NYSE建立的事件处理系统到现在已经超过20年了。 在过去的十年中,我们... 详细

hadoop的Linux下简单安装步骤

13-08-26 256 banq

首先安装Hadoop cluster版本: $ curl -O http://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3u6.tar.gz $ cd /... 详细

共有 281 2 下一页