Hadoop大数据教程

22-08-08 1975 1 9K

数据工程的所有最新工具和趋势：数据摄取该层包括提供从操作系统到数据存储的管道的流技术和 SaaS 服务。这里值得一提的演变是Airbyte的急剧崛起。Airbyte 成立于 2020 年，直到当年年底.

22-08-02 1327 3K

如果您在 Kubernetes 集群上部署 Airflow，并且正在寻找将 DBT 集成到 Airflow 中的方法，那么本文可能会给您一些启发。需要对 Airflow、DBT（数据构建工具）和 Ku.

22-08-02 846 3K

如何将 230 PB 的原始数据转化为可行的解决方案？在我们快节奏的数字时代，每天通过 Internet 传输数十万 TB 的数据，访问正确的信息是保持相关性的关键。从原始、无组织的数据中提取相关信息.

22-08-01 1448 4K

最初，Airflow 有点像“超级 cron”，因此运行作业的方式与框架本身高度耦合。今天，您必须克服的最大挑战是消除调度和作业之间的耦合。1）Airflow是一个编排框架，而不是一个执行框架：对于您.

22-08-01 1147 3K

我在 Hadoop/Bigdata 的早期阶段开始研究数据管道，当时大数据是一个流行词。Apache Oozie （有人还记得 Oozie 吗？）是一种用于编排数据管道的首选工具，您必须在 XML 文.

22-07-25 1514 5K

数据管道是任何公司数据基础架构中的关键组件。许多公司用来管理其数据提取和转换的一种框架是 Airflow。无论是 100% 使用 Airflow 及其各种运算符，还是使用 Airflow 编排其他组件.

22-07-19 1906 1

这个项目演示了使用Minio、Trino（具有众多连接器）等工具通过 Docker 在我们的机器上部署 MVP 版本来运行一些分析查询.数据湖“Data Lakehouse”一词是由 Databric.

22-07-18 990

AWS Redshift 是最早的云数据仓库之一，可以说是 Hadoop 之后的一代。Amazon Redshift 是云中完全托管的 PB 级数据仓库服务。该服务适用于小至几百 GB 的数据量，并且.

22-07-17 1126 5K

Snowflake 和 Debezium 在现代数据堆栈中获得了当之无愧的地位，现在很容易找到有关使用这些技术的在线资源。在这篇博客中，我们更进一步，回顾了我们（在 Shippeo）使用 Debezi.

22-07-17 1605

TokioSky 是一个流处理框架，用于构建并发和多阶段数据摄取和流处理，通过 Rust+Tokio 构建并发和多阶段数据摄取和数据处理管道。，TokioSky 让开发者可以高效地使用数据，有效地使用.

22-06-22 2024 7K

我们在过去一年看到的主要主题是整合。1、数据摄取该层包括提供从操作系统到数据存储的管道的流技术和 SaaS 服务。这里值得一提的演变是Airbyte的急剧崛起。Airbyte 成立于 2020 年，直.

22-06-14 3421 1 4K

表格格式是数据工具和语言与数据湖进行交互的方式，就像我们与数据库进行交互一样。表格格式允许我们将不同的数据文件抽象为一个单一的数据集，一个表格。数据湖中的数据通常可以跨越多个文件。我们可以使用 Spa.

22-06-11 1129 2K

在 LinkedIn 的早期阶段（2010 年代初），公司发展非常迅速。为了跟上这种增长，他们在分析堆栈中利用了几个第三方专有平台。使用这些专有平台比拼凑现成的产品要快得多。LinkedIn 依靠 I.

22-06-02 1233 1 2K

“数据库”一词是否会在 5 到 10 年内慢慢演变成“分布式计算平台”？随着无服务器市场的扩大，更多的数据库解决方案开始考虑模块化架构，其中系统的各个组件都是分开的。这允许为每个无服务器租户分配此类组.

22-05-30 1283 6K

分区和分桶用于最大化收益，同时最小化不利影响。它可以减少洗牌的开销、序列化的需要和网络流量。最后，它提高了性能、集群利用率和成本效益。Spark 中的分区分区的主要思想是优化作业性能。作业性能可以通过.