본문 바로가기

ALL158

[NiFi] FlowFile "Details" 값 attribute 추출 방법 Details 탭에서 Filename, File Size 라는 값을 attribute로 추출하는 방법입니다. UdateAttribute 프로세서를 생성하고 아래와 같이 설정해주면 해당 값을 가져올 수 있습니다. 속성이름: my_file_name 속성값: ${filename} 속성이름: my_file_size 속성값: ${fileSize} 2023. 4. 21.
[리눅스] JupyterHub 설치 방법 리눅스 환경 (CentOS 7, Python3.8)에서 JupyterHub 설치 방법 공유합니다. 설치 전 Jupyter 용어 관련하여 간략하게 정리 하겠습니다. Jupyter Notebook 대화형 Python Interpreter로 웹 환경에서 Python 코드 작성 및 실행하는 개발 환경(tool) Jupyter Lab Jupyter Notebook의 차세대 버전으로 사용자 편의 기능들이 추가됨 다중창 지원, csv/pdf 등 파일도 열 수 있어서 대시보드처럼 사용 가능 JupyterHub 멀티 사용자 환경에서 Jupyter Notebook/Lab을 사용 📖 설치 방법 1. os 패키지 설치 yum install –y nodejs yum install openssl 2. nodejs 패키지 설치 ◾.. 2023. 4. 13.
[python] pysqlite3 설치 오류 해결 🚫 ERROR src/connection.h:34:21: fatal error: sqlite3.h: No such file or directory #include "sqlite3.h" compilation terminated. error: command 'gcc' failed with exit status 1 💡 SOLVED $ yum install -y libsqlite3x-devel $ pip3 install pysqlite3 2023. 4. 12.
[python] sasl 설치 오류 해결 sasl 라이브러리 설치 과정에서 아래와 같은 오류 해결 방법들입니다. 리눅스 패키지 설치가 필요하네요. 결과적으로 아래 명령어 수행하여 패키지 설치해주면 됩니다. 🚫 ERROR gcc: error trying to exec 'cc1plus': execvp: No such file or directory sasl/saslwrapper.h:22:23: fatal error: sasl/sasl.h: No such file or directory 💡 SOLVED $ yum install -y gcc-c++ cyrus-sasl-devel $ pip3 install sasl 2023. 3. 22.
hive/impala udf 등록 방법 hdfs 파일 업로드 후 impala, hive SQL에서 각각 function 생성해주고, function이 db 기준으로 생성되기 때문에, db명시를 해줘야 합니다. ◾ Impala create function default.count_date(string) returns string location 'hdfs:///user/hive/udf/udf-0.1.0.jar' symbol='udf.count_date'; ◾ Hive create function default.count_date as 'udf.count_date' using jar 'hdfs:///user/hive/udf/udf-0.1.0.jar'; 2023. 1. 16.
[Hive] multi delimiter 테이블 DDL create external table txt_test( a string, b string, c string, d string, e string ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ("field.delim"="|\001|") LOCATION 'hdfs://name/tmp/test'; 2023. 1. 11.
[리눅스] 서버 Asia/Seoul 타임존 적용 timedatectl set-timezone Asia/Seoul 2022. 11. 3.
[NiFi] content 내용을 attribute로 저장하는 방법 NiFi Processor 중 ExtractText 프로세서에서 정규식을 사용하면 됩니다. html 내용을 attribute에 저장해서 sql에 집어넣기 위해 추출했습니다. 👨‍💻 ExtractText에서 변경한 properties 내용 Maximum Capture Group Length = 1048576 Enable DOTALL Mode = true Enable Multiline Mode = true body = (.*) 2022. 10. 20.