中台数据工程教程

如果您参与实时分析，就不能再忽视“更改数据捕获(简称#CDC)”。一些最流行和最先进的架构现在建立在基于 CDC 的解决方案之上。让我们探索是什么让 CDC 如此受欢迎，看看它将如何影响您的商业模式和项目。 虽然云提供了许多好处，例如存储和

随着 Lakehouse 的日益普及，人们对分析和比较作为该数据架构核心的开源项目的兴趣日益浓厚：Apache Hudi、Delta Lake 和 Apache Iceberg。 目前发表的大多数比较文章似乎仅将这些项目评估为传统的仅附加工作负载的

数据是当今分析世界的宝贵资产。在向最终用户提供数据时，跟踪数据在一段时间内的变化非常重要。渐变维度 (SCD) 是随时间推移存储和管理当前和历史数据的维度。在 SCD 的类型中，我们将特别关注类型 2（SCD 2），它保留了值的完整历史。每条记录都包含有效时间和到期时间，以标识记录处

为了成功实施数据治理，您需要为组织的成员分配角色。以下是可能的职位列表及其职责： 执行发起人：最终负责实施和持续数据治理流程的高级员工。他们充当最高级利益相关者（例如高管、董事会）和数据治理领导或委员会之间的桥梁。 数据治理负责人：负责定义和操作数据治理策略以及支持多

在线食品订购和配送是一个竞争激烈的市场，速度是生存的关键。Coupang Eats（简称Eats）是韩国电商巨头Coupang的外卖子公司。在这篇文章中，我们将详细介绍 Eats 数据平台团队如何构建通用且配置驱动的数据处理系统，通过自动化关键业务运营来加速我们的增长。

沃尔玛建立了一个成为业界热议的数据仓库，部分原因是它是世界上最大的数据仓库之一，还因为沃尔玛正在使用该系统进行市场购物篮分析、销售历史、库存和其他商业智能，这家零售商以超前的战略与供应商和合作伙伴分享了这些信息。在过去的 25 年中，像沃尔玛这样的数据仓库（大型、集中的本地系统）一直

数据与业务运营和各种分析工作负载（BI、数据科学、认知解决方案等）的分离与 IT 系统和业务应用程序一样古老。由于分析工作负载是资源密集型的，因此需要将它们与运行业务运营的 IT 系统分开，以便运营工作负载在没有任何资源限制的情况下平稳运行，从而确保积极的客户体验。

“数据工程是 2022 年最性感的新工作”它在需求和职业机会方面已经超过了数据科学。如果您还没有看到对数据工程的需求呈天文数字增长，那么您很可能在过去 2 年都生活在山洞里。到底是什么炒作？为了试图回答这个问题，我们必须首先探索，

在 DoorDash，实时事件是深入了解我们业务的重要数据源，但构建能够处理数十亿实时事件的系统具有挑战性。事件由我们的服务和用户设备生成，需要处理并传输到不同的目的地，以帮助我们在平台上做出数据驱动的决策。举几个用例： 几乎所有的事件都需要传输到我们的

在 Java 应用程序中处理 txt、csv、json、xml 和 xls 等开放格式的数据文件是很常见的。Java 中的硬编码非常复杂，因此我们经常求助于某些现成的开源包。但每个包都有其弱点。 解析库这种

Redpanda 是一个开发人员优先的流数据平台，兼容 Kafka -API、无 ZooKeeper、无 JVM、Jepsen 测试和可用源。速度提高 10 倍，硬件效率提高 6 倍。您可以用 Redpanda 替换 Apache Kafka 而无需对源代码进行任何更改。相反，您将获

Instacart 广泛地结合了机器学习，以提高我们“四面市场”中所有参与者的体验质量——在 Instacart 应用程序上下订单以在 30 分钟内获得交货的客户，可以随时上网以满足客户需求的购物者订单、销售产品并可以实时更新其目录的零售商，以及参与 Instacart 广告平台拍卖以推广其

Atheon建立了这样一个dbt案例：CTE（通用表表达式）是passthrough的，性能的影响是可以忽略不计的，因为现代数据仓库优化器识别这种模式。该博客通过比较“导入的 CTE” 和“直接在 CTE 中引用基表”的情况，讲述了 Snowflake 的情况并非如此。其结果是，建立

自从 Hadoop 和 MapReduce 诞生以来，数据工程社区一直非常关注数据转换的商品化。所有 Hadoop 抽象，如 Hive、Pig、Crunch 等。在 Hadoop 之上构建以进一步简化数据转换。通过简化数据转换，Apache Spark 对 dbt 数据工程社区取得了重大飞跃

PayPal 撰写了关于采用数据网格原则的策略。该博客承认尚无标准实施，但建立了一个商业案例，说明 PayPal 在其数据策略中需要 DataMesh 原则。这是一个令人兴奋的从 PayPal 观察的空间。 随着企业变得更加敏捷，集中化越来越成为过

作者：雷波,