ALL161 [Hive] multi delimiter 테이블 DDL create external table txt_test( a string, b string, c string, d string, e string ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ("field.delim"="|\001|") LOCATION 'hdfs://name/tmp/test'; 2023. 1. 11. [리눅스] 서버 Asia/Seoul 타임존 적용 timedatectl set-timezone Asia/Seoul 2022. 11. 3. [NiFi] content 내용을 attribute로 저장하는 방법 NiFi Processor 중 ExtractText 프로세서에서 정규식을 사용하면 됩니다. html 내용을 attribute에 저장해서 sql에 집어넣기 위해 추출했습니다. 👨💻 ExtractText에서 변경한 properties 내용 Maximum Capture Group Length = 1048576 Enable DOTALL Mode = true Enable Multiline Mode = true body = (.*) 2022. 10. 20. [NiFi] ORACLE, Impala Data Type 비교 NiFI에서 ORACLE 데이터 수집할 때 정리한 내용입니다. 📁 Data Type ORACLE Impala CLOB string varchar string number(int) decimal(20,0) number(double) decimal(20,3) timestamp timestamp date timestamp binary_double double ◾ ExecuteSQLRecord Use Avro Logical Types: true Max Rows Per Flow File: 500000 Fetch Size: 500000 ◾ Impala DBCP Validation query: select 1 2022. 9. 22. [NiFi] Groovy-Java로 여러 날짜 뽑는 방법 NiFi에서 제공하는 Groovy Script는 자바 호환이 거의 되므로 자바 코드로 작성하여도 잘 돌아감 Create ExecuteScript Processor PROPERTIES > Select Groovy > Write Script Body Script Contents import java.text.DateFormat; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Date; //attribute의 날짜(yyyymmdd) 기준부터 -30일까지 추출 flowFile = session.get(); if(!flowFile) return; dt = flo.. 2022. 9. 22. zeppelin interpreter resource share mode (notebook pending) zeppelin 에서 여러 태스크를 실행하면, 선행 작업이 끝날때까지 작업이 pending 걸리는 경우가 있네요 🔗 링크 참고 https://zeppelin.apache.org/docs/0.8.0/usage/interpreter/interpreter_binding_mode.html 2022. 9. 19. [NiFi] global variable(전역변수) 설정 nifi에서 global variable(전역변수) 설정하여 여러 Process Group에서 현재 날짜(yyyyMMdd)를 사용하는 요건이 있었는데 방법 찾느라 엄청 고생했네요 😭 Variables와 Parameter 2가지 기능을 제공하는데 Parameter에서 NiFi EL(Expression Language)이 먹혀서 글로벌 날짜 변수를 추출할 수 있었습니다. Variables에서는 ${now():format('yyyyMMdd')} 와 같은 표현식을 모두 String 문자 값으로 읽어서 반환해서 사용할 수 없고, Parameter는 EL 표현식이 사용 불가하다고 NiFi doc에 나와있지만 사용이 되네요..🤨 1. Parameter에서 EL 사용 방법입니다. 2. 프로세스 그룹에 파라미터 매핑 3.. 2022. 8. 31. [zeppelin] python interpreter 설치 및 연동 클라우데라에서 zeppelin 서비스에 python interpreter 설치 및 연동하는 방법입니다. clouder doc에는 나와있지 않아 과거 HDP와 Apache Zeppelin 문서 참고 하였습니다 🙂 1. zeppelin 설치된 서버 접속 후 파이썬 인터프리터 설치 설치 완료되면 /opt/cloudera/parcels/CDH/lib/zeppelin/interpreter/python 경로가 생성됨 하위 경로 권한 확인 (chmod 644) /opt/cloudera/parcels/CDH/lib/zeppelin/bin/install-interpreter.sh -n python 2. zeppelin web-ui > interpreter > create python interpreter가 정상 설치되면.. 2022. 8. 18. 이전 1 2 3 4 5 6 7 ··· 21 다음
