Nifi

NiFi

- 클러스터 간 데이터 동기화

- Apache 오픈소스

- 분산 환경에서 대량의 데이터를 수집, 처리

- 실시간 ETL

- FBP(Flow-Based Programming)

특징

- 실시간 처리 : 특정 디렉토리에 파일이 생성되면 바로 다른 DB에 저장하거나 다른곳으로 FTP로 보낼 수 있음.

- Zero Master 클러스터 환경 제공, 확장 가능

- HTTPS 보안

- 데이터의 이동경로 추적 가능

- 데이터 교환

단점

- 배치작업 불가

- 복잡한 연산 불가

구성 요소

- FlowFile : 데이터 단위

- Processor : FlowFile을 수집, 변형, 저장하는 기능

- Connection : Processor 끼리 연결해 FlowFile을 전달

• FlowFile
• 속성(Attribute) : key-value 형태로 데이터의 이동 및 저장 시 필요한 정보
• 내용(Content) : 데이터가 어디에있는지 포인트 정보를 가지고 있음
• Processor
  - 150개가 넘는 Processor를 제공하고 확장 가능
• Connection
  - FlowFile의 대기열(Queue) : FlowFile의 우선순위, 만료, 부하 조절 기능 제공