大数据架构指南

在这篇文章中，一个非常简单的转换操作将被应用于一个大型的Java数据集合。 转换操作对于转换操作，我们定义了一个函数接口。它只是接收一个R类型的元素，应用一个转换操作，并返回一个S类型的转换对象。

Apache Hadoop作为一个完整的开源大数据套件，在过去十年深刻影响了整个大数据世界。然而，随着各种新兴技术的发展，Hadoop生态系统发生了翻天覆地的变化。2021 年 4 月，Apache 软件基金会宣布退出 13 个大数据相关项目，其中 10 个属于 Hadoop 生态系

假设有一个您需要定期运行的流程，例如一天结束 (EOD)。假设这个流程中需要处理的数据量在不断增加。最初，你可以做一个非常简单的 Spring 调度（或者 Quartz 或者你有什么），它只执行一个方法，一次加载所有数据，处理所有数据并将结果写回数据库。如果读取的行数（例如从

数据也以不同的格式存在，如结构化数据、半结构化数据和非结构化数据。大数据分析是一个用于提取有意义的见解的过程，例如隐藏的模式、未知的相关性、市场趋势和客户偏好。大数据分析提供了各种优势——它可以用于更好的决策、防止欺诈活动等等。数据在转化为有助于管理层决策的有用信息和知识之前是没有意

随着 Lakehouse 的日益普及，人们对分析和比较作为该数据架构核心的开源项目的兴趣日益浓厚：Apache Hudi、Delta Lake 和 Apache Iceberg。 目前发表的大多数比较文章似乎仅将这些项目评估为传统的仅附加工作负载的

Rust 内置了对异步 ( async) 编程模型的支持，类似于 JavaScript 等语言。要充分利用多核和异步 I/O，必须使用运行时，虽然 Rust 社区有多种替代方案，但 Tokio 是事实上的标准。CPU 密集型计算定义：以消耗大量 CPU 用于存储重组、预先计算

我们在过去一年看到的主要主题是整合。 1、数据摄取该层包括提供从操作系统到数据存储的管道的流技术和 SaaS 服务。 这里值得一

数据与业务运营和各种分析工作负载（BI、数据科学、认知解决方案等）的分离与 IT 系统和业务应用程序一样古老。由于分析工作负载是资源密集型的，因此需要将它们与运行业务运营的 IT 系统分开，以便运营工作负载在没有任何资源限制的情况下平稳运行，从而确保积极的客户体验。

在 DoorDash，实时事件是深入了解我们业务的重要数据源，但构建能够处理数十亿实时事件的系统具有挑战性。事件由我们的服务和用户设备生成，需要处理并传输到不同的目的地，以帮助我们在平台上做出数据驱动的决策。举几个用例： 几乎所有的事件都需要传输到我们的

Netflix 使用开源 Druid 分析数据库来了解和量化用户设备如何处理浏览和播放。 一家名为 Metamarkets 的广告技术公司最初于 2011 年将 Druid 设计为分布式实时数据存储，以提供 SaaS 分析。Metamarkets 为广告商提供交互式分析仪表板

Wayang 使用户能够在多个数据处理平台上运行数据分析。为此，Wayang 在现有平台之上提供了一个抽象，以便在任何平台集之上运行数据分析任务。因此，用户可以专注于其应用程序的逻辑，而不是底层平台的复杂性。Apache Wayang 是 5 年综合研究的成果，已经发表了十几篇论文，

今天云原生技术的大数据中心取代了Hadoop，Kubernetes 取代了 YARN 作为工作负载编排器，亚马逊S3 兼容的对象存储取代了 HDFS 来存储海量数据。但是在 2011 年，Hadoop是大数据酷炫的前沿。Hadoop（当时称为 Nutch）由 Doug Cutting

PayPal 撰写了关于采用数据网格原则的策略。该博客承认尚无标准实施，但建立了一个商业案例，说明 PayPal 在其数据策略中需要 DataMesh 原则。这是一个令人兴奋的从 PayPal 观察的空间。 随着企业变得更加敏捷，集中化越来越成为过

LinkedIn 之前使用Teradata 第三方专有平台进行数据分析技术堆栈，这种方法导致了扩展问题，并使系统难以发展，LinkedIn 转而使用开源软件和 Hadoop 生态系统。Steven Chuang、Qinyu Yue、Aaravind Rao 和 Srihari Dud

Hadoop 和 Spark 都是开源软件的集合，由 Apache 软件基金会维护，用于大规模数据处理。Hadoop 是两者中较老的一个，曾经是处理大数据的首选。然而，自从 Spark 推出以来，它的增长速度远快于 Hadoop，后者不再是该领域无可争议的领导者。随着 Spark 的

在 Pinterest，Logging Platform 团队维护着每天摄取数 TB 数据的数据摄取基础设施的骨干。 MemQ：使用 Netty 实现内存高效的批量数据交付