본문 바로가기

💻Tech/💧nifi8

[NiFi] ExecuteSQLRecord postgresql 사용시 주의 auto commit 옵션이 default로 true인데 postgresql 같은 경우 true로 사용 시, Heavy Query 일 경우 모두 메모리에 올려서 가져오기 때문에 nifi 장애 발생됨 (nifi 프로세스 kill 해줘야 함) 결론은 postgresql은 auto commit 옵션을 false로 설정하고 fetch 사이즈를 할당해서 메모리 이슈를 예방할 수 있음 2023. 8. 22.

[NiFi] FlowFile "Details" 값 attribute 추출 방법 Details 탭에서 Filename, File Size 라는 값을 attribute로 추출하는 방법입니다. UdateAttribute 프로세서를 생성하고 아래와 같이 설정해주면 해당 값을 가져올 수 있습니다. 속성이름: my_file_name 속성값: ${filename} 속성이름: my_file_size 속성값: ${fileSize} 2023. 4. 21.

[NiFi] content 내용을 attribute로 저장하는 방법 NiFi Processor 중 ExtractText 프로세서에서 정규식을 사용하면 됩니다. html 내용을 attribute에 저장해서 sql에 집어넣기 위해 추출했습니다. 👨‍💻 ExtractText에서 변경한 properties 내용 Maximum Capture Group Length = 1048576 Enable DOTALL Mode = true Enable Multiline Mode = true body = (.*) 2022. 10. 20.

[NiFi] ORACLE, Impala Data Type 비교 NiFI에서 ORACLE 데이터 수집할 때 정리한 내용입니다. 📁 Data Type ORACLE Impala CLOB string varchar string number(int) decimal(20,0) number(double) decimal(20,3) timestamp timestamp date timestamp binary_double double ◾ ExecuteSQLRecord Use Avro Logical Types: true Max Rows Per Flow File: 500000 Fetch Size: 500000 ◾ Impala DBCP Validation query: select 1 2022. 9. 22.

[NiFi] Groovy-Java로 여러 날짜 뽑는 방법 NiFi에서 제공하는 Groovy Script는 자바 호환이 거의 되므로 자바 코드로 작성하여도 잘 돌아감 Create ExecuteScript Processor PROPERTIES > Select Groovy > Write Script Body Script Contents import java.text.DateFormat; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Date; //attribute의 날짜(yyyymmdd) 기준부터 -30일까지 추출 flowFile = session.get(); if(!flowFile) return; dt = flo.. 2022. 9. 22.

[NiFi] global variable(전역변수) 설정 nifi에서 global variable(전역변수) 설정하여 여러 Process Group에서 현재 날짜(yyyyMMdd)를 사용하는 요건이 있었는데 방법 찾느라 엄청 고생했네요 😭 Variables와 Parameter 2가지 기능을 제공하는데 Parameter에서 NiFi EL(Expression Language)이 먹혀서 글로벌 날짜 변수를 추출할 수 있었습니다. Variables에서는 ${now():format('yyyyMMdd')} 와 같은 표현식을 모두 String 문자 값으로 읽어서 반환해서 사용할 수 없고, Parameter는 EL 표현식이 사용 불가하다고 NiFi doc에 나와있지만 사용이 되네요..🤨 1. Parameter에서 EL 사용 방법입니다. 2. 프로세스 그룹에 파라미터 매핑 3.. 2022. 8. 31.

[NiFi] Impala JDBC DBCPConnectionPool 사용 예제 1. Impala JDBC Connector 다운로드 https://www.cloudera.com/downloads/connectors/impala/jdbc/2-6-17.html 2. NiFi DBCPConnectionPool 설정 Database Driver Location(s) 업로드한 파일 경로 입력 /opt/cloudera/parcels/CFM/NIFI/lib/ImpalaJDBC42.jar 경로를 지정하지 않을 경우 아래와 같은 에러가 발생함 Validation query 입력해주면 좋음 (select 1) Could not initialize class com.cloudera.impala.jdbc42.internal.apache.thrift.transport.TSocket 3. Impala SQ.. 2020. 10. 14.

[NiFi] GetFTP - PutHDFS 연동 예제 간단한 nifi 사용방법입니다. ftp 서버에서 데이터를 가져와 hdfs에 업로드하는 예제입니다. 1. Processor 버튼을 작업 화면에 끌어 놓으면 nifi에서 제공하는 processor를 선택할 수 있습니다. (GetFTP, PutHDFS 추가) 2. 추가 후 Configure에서 설정을 하고 processor 위에 마우스 커서를 옮기면 버튼이 나오는데 클릭 후 두 개의 프로세서를 연결해 줍니다. GetFTP 프로세서에 스케줄을 10초로 설정하여 10초마다 실행되게 해 주었습니다. ftp 서버와 파일 정보 입력 (Delete Original 옵션을 true 설정하면 get 이후 원천경로 데이터를 삭제) hdfs 설정파일 위치와 업로드할 경로를 입력합니다. 프로세스 연결해 준 상태 (노란색 Warn.. 2019. 11. 20.

이전 1 다음

티스토리툴바