Apache NiFi
# Apache NiFi

Apache NiFi ist eine freie Software der Apache Software Foundation, die zur Automatisierung des Datenflusses zwischen Softwaresystemen dient. Es dient der Implementierung von ETL-Prozessen. Es wird für Big Data Anwendungen verwendet.

## Geschichte

2006 wurde NiFi unter dem Pseudonym Niagarafiles von der National Security Agency entwickelt und im November 2014 im Rahmen des NSA Technology Transfer Program an die Apache Software Foundation übergeben und unter der Apache-Lizenz freigegeben und galt gemäß heise online 2019 als das bekannteste Open-Source-Projekt der NSA. Im Juli 2015 wurde NiFi seitens Apache zum Top-Level-Projekt erkoren. Das hauptverantwortliche Entwicklungs-Unternehmen war bis August 2015 Onyara, welches von Hortonworks aufgekauft wurde.

NiFi wurde Teil der Hortonworks DataFlow des Projekts Hortonworks Data Platform und nach der Fusion von Hortonworks mit Cloudera im Januar 2019 ebenso Teil von Cloudera. Zu den weiteren Nutzern gehören unter anderem Gaia-X mit dem Projekt Marispace-X oder Porsche mit der Datenplattform Streamzilla.

## Details

Die Anwendung basiert auf einer Datenfluss-Architektur.

Die Kernkonzepte sind FlowFiles (ein Blob von 0 oder mehr Bytes mit Metadaten in Form von Key-Value-Pairs), welche den Input und Output von FlowFile Processors (die Datenstrom-Verarbeitungskomponenten) darstellen.

NiFi stellt Standard-„FlowFile Processors“ zur Verfügung, die nur noch für eine bestimmte Anwendung konfiguriert werden können.

