2022年数据工程领域哪些项目会崛起?


2022年会崛起的项目有:

  • DBT:使用 dbt,数据团队直接在仓库内工作,为报告、ML 建模和操作工作流生成可信数据集。dbt 帮助数据团队像软件工程师一样工作——更快地传送可信数据。
  • AirbyteHQ:Airbyte 是一个开源 EL(T) 平台,可帮助您在仓库、湖泊和数据库中复制数据。将数据从应用程序、API 和数据库同步到仓库、湖泊和其他目的地的新开源标准。
  • OpenMetadata:具有集中元数据存储、发现、协作和正确获取数据的元数据开放标准。
  • Debezium:发件箱模式

未来会下降的是:
  • airflow:数据目录(包括通过开放元数据便携/商品化标准),难以使用,没有跟上竞争对手的创新(例如 prefect),会被直接构建在顶部的工具(例如 astro)所取代,原因可能是关于 orch(vis-a-vis dagster)和大块的过时的思考方式。