2022年会崛起的项目有:
- DBT:使用 dbt,数据团队直接在仓库内工作,为报告、ML 建模和操作工作流生成可信数据集。dbt 帮助数据团队像软件工程师一样工作——更快地传送可信数据。
- AirbyteHQ:Airbyte 是一个开源 EL(T) 平台,可帮助您在仓库、湖泊和数据库中复制数据。将数据从应用程序、API 和数据库同步到仓库、湖泊和其他目的地的新开源标准。
- OpenMetadata:具有集中元数据存储、发现、协作和正确获取数据的元数据开放标准。
- Debezium:发件箱模式
未来会下降的是:
- airflow:数据目录(包括通过开放元数据便携/商品化标准),难以使用,没有跟上竞争对手的创新(例如 prefect),会被直接构建在顶部的工具(例如 astro)所取代,原因可能是关于 orch(vis-a-vis dagster)和大块的过时的思考方式。