深入研究自定义Apache Nifi处理器 - itnext

20-08-13 banq

大数据分析工具中,Kafka用作消息代理,Cassandra用作NoSql数据库,Redshift用作数据仓库,将Elasticsearch用作搜索引擎,然后……您需要一个工具来管理这些技术之间的流程并将它们集成在一起。有一些解决此类问题的项目,Apache Nifi就是其中之一。

Apache NiFi是Apache Software Foundation的软件项目,旨在自动化软件系统之间的数据流。

它支持数据路由,转换和系统中介逻辑的功能强大且可扩展的有向图。一些高级功能和目标包括:

  • 基于Web的用户界面
  • 高度可配置
  • 资料来源
  • 专为扩展而设计
  • 安全

它具有约300个处理器,可直接与生态系统集成!因此,在大多数情况下,您只需要正确使用和配置其中之一即可。

但是有时您会遇到一种特殊情况,即需要为项目创建自定义处理器。例如,数据已加密或序列化,您需要应用一些特定的算法对数据进行解密或反序列化。

在本文中,我们将了解如何创建自定义处理器并在Java中编写一些行以提取从Kafka接收的数据并生成JSON。

您可以在此处找到源代码:https : //github.com/m-semnani/nifi-customprocessor

详细点击标题见原文。

         

猜你喜欢