Hadoop的故事

22-01-18 banq

今天云原生技术的大数据中心取代了Hadoop，Kubernetes 取代了 YARN 作为工作负载编排器，亚马逊S3 兼容的对象存储取代了 HDFS 来存储海量数据。但是在 2011 年，Hadoop是大数据酷炫的前沿。
Hadoop（当时称为 Nutch）由 Doug Cutting 和 Mike Cafarella于 2004 年创建，作为 Google 文件系统和 MapReduce 计算框架的基于 Java 的实现。该产品解决了一个非常紧迫的问题：雅虎的万维网索引不再适合单台计算机，因此该公司需要一个低成本的数据存储和处理框架。
Cut 和 Cafarella 在 2006 年启动了开源 Hadoop 项目，很快硅谷的网络巨头（当时还没有那么巨大）注意到了这一点。Facebook、Twitter 和 LinkedIn 采用 Hadoop 来解决他们自己迅速增长的数据需求，并且他们对 Cassandra、Hive、Kafka 和 Storm 等技术做出了自己的调整。计算世界的其他人都想参与其中，Cloudera 做出了回应。
Cloudera 成立于 2008 年，是第一个 Hadoop 分销商。该公司于2011 年 11 月开始扩大业务，当时它筹集了 4000 万美元的风险投资，这预示着 9 亿美元的巨额投资将在三年后的 Hadoop 鼎盛时期发生。
但是随着Hadoop 生态系统的发展，Cloudera 的竞争对手MapR Technologies 成立于 2009 年，在 2011 年完成了 2000 万美元的融资，因为它的 40 多名员工构建了一个专有版本的 Hadoop，除了 HDFS 之外还支持 NFS。然后在 2011 年 6 月，当雅虎剥离 Hortonworks 时，Cloudera 又遇到了另一个竞争对手。与 Cloudera 或 MapR 相比，Hortonworks 拥有大约 20 名从事雅虎 Hadoop 系统工作的工程师，旨在更紧密地与开源 Apache Hadoop 项目保持一致。
当时绝大多数 Hadoop 部署都是本地部署，因为公有云的概念仍在形成（请记住，亚马逊网络服务直到 2006 年才创建）。但亚马逊让我们一睹 Elastic MapReduce (EMR) 的发展前景，这是它在 2009 年推出的托管 Hadoop 服务。在 Cloudera 和 MapR 在零售和金融服务领域获得客户的同时，AWS 吹嘘其技术含量高的客户名单，其中包括 Etsy、Foursquare、Clickstream 和 Yelp 等名称。
虽然 Hadoop 在今天被认为是一种传统技术，但由于分离计算和存储的云原生架构的兴起，Hadoop 的影响力仍然存在。