2022年数据工程领域哪些项目会崛起？

22-01-05 banq

2022年会崛起的项目有：
  • DBT：使用 dbt，数据团队直接在仓库内工作，为报告、ML 建模和操作工作流生成可信数据集。dbt 帮助数据团队像软件工程师一样工作——更快地传送可信数据。
  • AirbyteHQ：Airbyte 是一个开源 EL(T) 平台，可帮助您在仓库、湖泊和数据库中复制数据。将数据从应用程序、API 和数据库同步到仓库、湖泊和其他目的地的新开源标准。
  • OpenMetadata：具有集中元数据存储、发现、协作和正确获取数据的元数据开放标准。
  • Debezium：发件箱模式

未来会下降的是：
  • airflow：数据目录（包括通过开放元数据便携/商品化标准），难以使用，没有跟上竞争对手的创新（例如 prefect），会被直接构建在顶部的工具（例如 astro）所取代，原因可能是关于 orch（vis-a-vis dagster）和大块的过时的思考方式。