能够替代Hadoop用作数据湖新的开源项目 - unpocodejava

22-01-03 banq

数据湖 通常与面向 Hadoop 的对象存储相关联。在这种情况下,组织的数据首先上传到 Hadoop 平台,然后对驻留在 Hadoop 集群节点上的数据应用数据挖掘和分析工具。

我们发现 Hadoop 的核心是它的存储层HDFS(Hadoop 分布式文件系统),它可以跨多个服务器存储和复制数据,此外,Hadoop 生态系统还包括一些辅助工具,例如 Hive、Flume、Sqoop 和 Kafka,它们有助于包括数据摄取、准备和提取。

Hadoop 数据湖可以使用 Cloudera、Azure HDInsight 或 GCP DataProc 等企业平台在本地或云中安装。

 

Hadoop 数据湖的优势

即使在今天,由于以下原因,在 Hadoop 上安装数据湖仍然是一种流行的选择:

  • 技术团队之间更加熟悉
  • 开源解决方案,使其实施经济
  • 更便宜,因为它们是开源的
  • 许多可用于 Hadoop 集成的工具
  • 易于扩展
  • 数据局部性可实现更快的计算
  • 可以将其安装在本地或作为各种云中的服务

 

今天的 Hadoop

Hadoop 曾经是数据湖的主要选择,但在不断变化的技术世界中,还有其他更现代的方法基于 Spark 或 Presto 等工具。

让我们回顾一下,了解事情发生了怎样的变化。Hadoop出现在2000年代初,十年间开始流行,其实是因为很多公司走开源,当时早期的BigData和Data Lakes项目大部分都是基于Hadoop的。

Hadoop 提供了两个主要功能:

  • 用于持久化数据的分布式文件系统 (HDFS)。
  • 允许并行处理所有数据的处理框架。

越来越多的组织开始希望使用他们的所有数据,而不仅仅是一些数据。因此,Hadoop 因其存储和处理新数据源(包括日志记录、点击流以及机器和传感器生成的数据)的能力而广受欢迎。

在 2000 年代,Hadoop 很有意义,因为它允许您使用基本硬件构建本地集群,以低成本存储和处理这些新数据。

但开源继续发展,出现了一个新框架:Apache Spark,经过优化以处理内存中而不是磁盘上的数据。这当然意味着在 Spark 上运行的算法会更快,但数据仍然需要持久化,因此 Spark 被包含在许多 Hadoop 发行版中。那行得通,但随着云的兴起,有一种更好的数据持久化方法:对象存储。

除此之外,随着 Cloudera 购买 Hortonworks(以及 HP 购买 MapR),本质上我们可以说 Hadoop 不再有免费发行版,这意味着开源世界正在寻找替代解决方案。

MinIO 和 Presto 作为数据湖

我们提到它目前可以挂载在 Spark 和对象存储库之上。在这一点上,我们将描述一个有趣的替代方案,以替代基于 HDFS 的环境以及基于 MinIO 和 Presto 的 Hadoop 生态系统的其余部分。

 

它是实现 AWS S3 API 的分布式对象存储。MinIO 可以部署在本地和云端,并在 Kubernetes 之上工作。

MinIO 的存储基于对象,其中每个对象由 3 个概念组成:

  • 数据本身。数据可以是您想要存储的任何内容,从照片到 400,000 页的手册
  • 可扩展数量的元数据。元数据由创建对象的人定义;它们包含有关数据是什么、应该用于什么、其机密性或与数据应该如何使用相关的任何其他内容的上下文信息。
  • 全局唯一标识符。标识符是提供给对象的地址,以便它可以在分布式系统中找到。通过这种方式,无需知道其物理位置(可能存在于数据中心的不同部分或世界的不同部分)即可找到数据。

如果 MinIO 可以代替 HDFS 作为数据湖中的存储,我们就缺少一个 HIVE 风格的 SQL 查询引擎。

  • Presto 

是一个用 Java 构建的开源分布式 SQL 查询引擎,旨在针对大量数据源(通过连接器)启动交互式分析查询,支持对从千兆字节到 PB 级数据源的查询。

Presto 是一个 ANSI-SQL 查询引擎,它允许使用相同的 SQL 语句、函数和运算符在任何连接的数据源中查询和操作数据。

因此,在数据湖中,我们可以使用 Presto 查询存储在 MinIO 中的数据。 

此外,Presto 可以在 Spark 之上运行,让您可以利用 Spark 作为 Presto 查询的执行环境。

与在 Hadoop 上安装数据湖相比,这种方法具有许多优点:

  • 这种组合比典型的 Hadoop 配置更具弹性,而在 Hadoop 中,向 Hadoop 集群添加和删除节点是一个完整的过程,在这种方法中,一切都运行在 Kubernetes 之上,这使我们能够轻松扩展。
  • 单独的计算和存储:使用 Hadoop,如果您想添加更多存储,您可以通过添加更多节点(使用计算)来实现。如果您需要更多存储,无论您是否需要,您都将拥有更多计算,而使用对象存储架构,如果您需要更多计算,您可以将节点添加到 Presto 集群并保留存储,以便计算和存储不仅具有弹性,而且它们独立地具有弹性。
  • 维护:维护一个稳定可靠的 Hadoop 集群是一项复杂的任务,例如更新集群通常涉及停止集群,持续更新很复杂,...
  • 降低成本:通过这种架构,我们将降低总拥有成本:因为 MinIO 几乎不需要管理,而且对象的存储更便宜。

 

猜你喜欢