apache nifi

Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑。

简单的说，NiFi就是为了解决不同系统间数据自动流通问题而建立的。虽然dataflow这个术语在各种场景都有被使用，但我们在这里使用它来表示不同系统间的自动化的可管理的信息流。自企业拥有多个系统开始，一些系统会有数据生成，一些系统要消费数据，而不同系统之间数据的流通问题就出现了。这些问题出现的相应的解决方案已经被广泛的研究和讨论，其中企业集成eip就是一个全面且易于使用的方案。

网络故障，磁盘故障，软件崩溃，人为事故。

Systems fail

有时，给定的数据源可能会超过处理链或交付链的某些部分的处理能力，而只需要一个环节出现问题，整个流程都会受到影响。

Data access exceeds capacity to consume

总是会得到太大、太小、太快、太慢、损坏、错误或格式错误的数据。

Boundary conditions are mere suggestions

现实业务或需求变更快，设计新的数据处理流程或者修改已有的流程必必须要迅速。

What is noise one day becomes signal the next

给定的系统所使用的协议或数据格式可能随时改变，而且常常跟周围其他系统无关。dataflow的存在就是为了连接这种大规模分布的，松散的，甚至根本不是设计用来一起工作的组件系统。

Systems evolve at different rates

法律，法规和政策发生变化。企业对企业协议的变化。系统到系统和系统到用户的交互必须是安全的，可信的，负责任的。

Compliance and security*

通常不可能在测试环境中完全模拟生产环境。

Continuous improvement occurs in production

dataflow要面临的一些挑战包括

概述

无缝体验设计、控制和监视

基于 web 的用户界面

数据丢失容错和保证交付

低延迟和高吞吐量

动态优先级

流可以在运行时修改

背压 Back presure

高度可配置的

从始至终跟踪数据流

数据来源

构建自己数据处理器

支持快速开发和有效的测试

为扩展设计

可插拔的基于角色的验证 / 授权

安全

特性

NiFi的基本设计概念与基于流程的编程fbp的主要思想密切相关。以下是一些主要的NiFi概念以及它们如何映射到FBP

基于流编程

https://en.wikipedia.org/wiki/Flow-based_programming#Concepts

论文

有助于处理器有向图的可视化创建和管理本质上是异步的，允许非常高的吞吐量和足够的自然缓冲提供高并发的模型，开发人员不必担心并发的复杂性促进内聚和松散耦合组件的开发，然后可以在其他环境中重复使用并方便单元测试资源受限的连接(流程中可配置connections)使得背压和压力释放等关键功能非常自然和直观错误处理变得像基本逻辑一样自然，而不是粗粒度的全部捕获(catch-all)数据进入和退出系统的点，以及它是如何流动的，都是容易理解和跟踪的。

此设计模型也类似于seda，带来了很多好处，有助于NiFi成为非常有效的、构建功能强大且可扩展的数据流的平台。其中一些好处包括

核心概念

web服务器的目的是承载NiFi基于http的命令和控制API。

Web Server

是整个操作的核心，为将要运行的组件提供线程，管理调度。

Flow Controller

有各种类型的NIFI扩展，这些扩展在其他文档中进行了描述。这里的关键点是NIFI扩展在JVM中操作和执行。

Extensions

FlowFile Repository

Content Repository是给定FlowFile的实际内容字节存储的地方。Content Repository的实现是可插拔的。默认方法是一种相当简单的机制，它将数据块存储在文件系统中。可以指定多个文件系统存储位置，以便获得不同的物理分区以减少任何单个卷上的争用。(所以环境最佳实践时可配置多个目录，挂载不同磁盘，提高IO)

Content Repository

Provenance Repository是存储所有事件数据的地方。Provenance Repository的实现是可插拔的，默认实现是使用一个或多个物理磁盘卷。在每个位置内的事件数据都是被索引并可搜索的。

Provenance Repository

从NiFi 1.0版本开始，NIFI集群采用了Zero-Master Clustering模式。NiFi群集中的每个节点对数据执行相同的任务，但每个节点都在不同的数据集上运行。Apache ZooKeeper选择单个节点作为集群协调器，ZooKeeper自动处理故障转移。所有集群节点都会向集群协调器发送心跳报告和状态信息。集群协调器负责断开和连接节点。此外，每个集群都有一个主节点，主节点也是由ZooKeeper选举产生。我们可以通过任何节点的用户界面（UI）与NiFi群集进行交互，并且我们所做的任何更改都将复制到集群中的所有节点上。

集群

架构

NIFI的设计目的是充分利用其运行的底层主机系统的能力。这种资源的最大化在CPU和磁盘方面尤其明显。有关其他详细信息，请参阅“Administration Guide”中的最佳实践和配置提示文档。

不同系统不同配置可预期的吞吐量或延迟会有很大差异，具体取决于系统的配置方式。鉴于大多数NiFi子系统都有可插拔的实现方法，所以性能取决于实现。但是，对于一些具体和广泛适用的地方，请考虑使用现成的默认实现。这些实现都是持久的，有保证的让数据流传递，并且是使用本地磁盘来实现。因此，保守点说，假设在典型服务器中的普通磁盘或RAID卷上的每秒读/写速率大约为50 MB，那么，对于大型数据流，NIFI应该能够有效地达到每秒100 MB或更多的吞吐量。这是因为预期添加到NiFi的每个物理分区和content repository都会出现线性增长，瓶颈将出现在FlowFile repository和Provenance repository的某个点上。我们计划提供一个基准测试和性能测试模板，然后允许用户能够轻松测试他们的系统并确定瓶颈在哪里，以及他们可能成为瓶颈的原因。此模板还应使系统管理员可以轻松进行更改并验证其影响。(期待这个测试功能的出现)

For IO

Flow Controller充当引擎的角色，指示特定处理器何时可以被分配线程去执行。编写处理器以在执行任务后立即释放线程。可以为Flow Controller提供一个配置值，该值指示它维护的各种线程池的可用线程。理想的线程数取决于主机系统内核数量，系统中是否正在运行其他服务，以及流程中要处理的流的性质。对于典型的IO大流量，合理的做法是让多线程可用。

For CPU

NiFi在JVM中运行，因此限制于JVM提供的内存。JVM垃圾回收（GC）成为限制实际堆总大小以及优化应用程序的运行的一个非常重要的因素。NIFI作业在定期读取相同内容时可能会占用大量I/O。可以配置足够大的磁盘以优化性能。

For RAM

NIFI的特性及性能预期

NIFI的核心理念是，即使在非常高的规模下，也必须保证交付。这是通过有效地使用专门构建的Write-Ahead Log和content repository来实现的。它们一起被设计成具备允许非常高的事务速率、有效的负载分布、写时复制和能发挥传统磁盘读/写的优势。

Guaranteed Delivery

NIFI支持缓冲所有排队的数据，以及在这些队列达到指定限制时提供背压的能力，或在数据达到指定期限（其值已失效）时老化数据的能力。

Data Buffering w/ Back Pressure and Pressure Release

NiFi允许设置一个或多个优先级方案，用于如何从队列中检索数据。默认情况是先进先出，但有时应该首先提取最新的数据(后进先出)、最大的数据先出或其他定制方案。

Prioritized Queuing

可能在数据流的某些节点上数据至关重要，不容丢失，并且在 某些时刻这些数据需要在几秒钟就处理完毕传向下一节点才会有意义。对于这些 方面NIFI也可以做细粒度的配置。

Flow Management

数据流的处理逻辑和过程可能会非常复杂。能够可视化这些流程并以可视的方式来表达它们可以极大地帮助用户降低数据流的复杂度，并确定哪些地方需要简化。NiFi可以实现数据流的可视化建立，而且是实时的。并不是“设计、部署”，它更像泥塑。如果对数据流进行了更改，更改就会立即生效，并且这些更改是细粒度的和组件隔离的。用户不需要为了进行某些特定修改而停止整个流程或流程组。

Visual Command and Control

NiFi的content repository旨在充当历史数据的滚动缓冲区。数据仅在content repository老化或需要空间时才会被删除。content repository与data provenance能力相结合，为在对象的生命周期中的特定点（甚至可以跨越几代）实现可以查看内容，内容下载和重放等功能提供了非常有用的基础。

Recovery / Recording a rolling buffer of fine-grained history

Ease of Use

数据流越安全越好。对于数据流中每个节点NiFi都是通过使用加密协议（如双向SSL）来安全地交换数据。此外，NiFi的流程能够加密和解密内容，并在发送方/接收方任何一侧使用共享密钥或其他机制来保证数据的安全。

System to System

span style=\

User to System

Multi-tenant Authorization

Security

Extension

对于任何基于组件的系统，涉及依赖的问题时常发生。NiFi通过提供自定义类加载器(在下面的NIFI源码会有进一步讲解)来解决这个问题，确保每个扩展包都暴露在一组非常有限的依赖中。因此，构建扩展包的时候不必担心它们是否可能与另一个扩展包冲突。这些扩展包的概念称为“NiFi Archives”，在Developer’s Guide中有更详细的讨论。

Classloader Isolation

NiFi实例之间的首选通信协议是NiFi站点到站点（S2S）协议。S2S轻松，高效，安全地将数据从一个NiFi实例传输到另一个实例。NiFi客户端库可以轻松构建并捆绑到其他应用程序或设备中，通过S2S协议与NiFi进行通信。S2S中支持以socket的协议和HTTP（S）协议作为底层传输协议，使得可以将代理服务器嵌入到S2S协议的通信中。

Site-to-Site Communication Protocol

Extensible Architecture

NiFi的设计是可集群，可横向扩展的。如果配置单个节点并将其配置为每秒处理数百MB数据，那么可以相应的将集群配置为每秒处理GB级数据。但这也带来了NiFi与其获取数据的系统之间的负载平衡和故障转移的挑战。采用基于异步排队的协议（如消息服务，Kafka等）可以提供帮助解决这些问题。使用NiFi的s2s功能也非常有效，因为它是一种协议，允许NiFi和客户端（包括另一个NiFi群集）相互通信，共享有关加载的信息，以及交换特定授权的数据端口。

Scale-out (Clustering)

NiFi还可以非常灵活地扩展和缩小。从NiFi框架的角度来看，在增加吞吐量方面，可以在配置时增加“调度”选项卡下处理器上的并发任务数。这允许更多线程同时执行，从而提供更高的吞吐量。另一方面，您可以完美地将NiFi缩小到适合在边缘设备上运行，因为硬件资源有限，所需的占用空间很小，这种情况可以使用MINIFI，

Scale-up & down

Flexible Scaling Model

NIFI关键特性高度概览

真正启动类

org.apache.nifi.NiFi

nar 包 其实就是 nifi 包装了其他额外信息的 jar 包集合的压缩包而已

NarClassLoaders

java工具箱

启动类

进入源码

NiFi 源码框架分析

nifi