[NiFi] GetFTP - PutHDFS 연동 예제

---

간단한 nifi 사용방법입니다.

ftp 서버에서 데이터를 가져와 hdfs에 업로드하는 예제입니다.

 

1. Processor 버튼을 작업 화면에 끌어 놓으면 nifi에서 제공하는 processor를 선택할 수 있습니다. (GetFTP, PutHDFS 추가)

 

2. 추가 후 Configure에서 설정을 하고 processor 위에 마우스 커서를 옮기면 버튼이 나오는데 클릭 후 두 개의 프로세서를 연결해 줍니다.

 

• GetFTP 프로세서에 스케줄을 10초로 설정하여 10초마다 실행되게 해 주었습니다.

 

• ftp 서버와 파일 정보 입력 (Delete Original 옵션을 true 설정하면 get 이후 원천경로 데이터를 삭제)

 

• hdfs 설정파일 위치와 업로드할 경로를 입력합니다.

 

• 프로세스 연결해 준 상태 (노란색 Warning 상태 확인 후 조치해 줍니다.)

 

• Relationship 체크하여 Warnig 제거

 

• Warnig 제거 후 상태

 

3. 프로세스 실행해 줍니다.

• 10초 후 정상 수행을 확인할 수 있었습니다.

 

• Bulleting Board에서 에러 관련로그를 볼 수 있습니다.

 

🔗 참고: https://help.syncfusion.com/data-integration/overview