ALL159 Docker custom image 생성 방법 (with CDSW) 1. Dockerfile 생성 $ vi Dockerfile ------------------------------------------------------------------- # Dockerfile # Specify a Cloudera Data Science Workbench base image FROM docker.repository.cloudera.com/cdsw/engine:13 # Update packages on the base image and install beautifulsoup4 RUN pip3 install beautifulsoup4 ------------------------------------------------------------------- 2. Dockerfile b.. 2021. 1. 8. kudu 명령어 정리 ◾ 테이블 생성 (as select) CREATE TABLE temp.kudu_cm_audits PRIMARY KEY (audit_id) STORED AS KUDU TBLPROPERTIES ('kudu.num_tablet_replicas' = '1') AS SELECT * FROM temp.cm_audits ; ◾ 테이블 생성 (range partition) CREATE TABLE IF NOT EXISTS temp.kudu_sample( gubun string, seq int, code string, description string, total_emp int, salary int, PRIMARY KEY(gubun,seq) ) PARTITION BY RANGE(gubun)( PARTITION VALUE .. 2020. 12. 23. [NiFi] Impala JDBC DBCPConnectionPool 사용 예제 1. Impala JDBC Connector 다운로드 https://www.cloudera.com/downloads/connectors/impala/jdbc/2-6-17.html 2. NiFi DBCPConnectionPool 설정 Database Driver Location(s) 업로드한 파일 경로 입력 /opt/cloudera/parcels/CFM/NIFI/lib/ImpalaJDBC42.jar 경로를 지정하지 않을 경우 아래와 같은 에러가 발생함 Validation query 입력해주면 좋음 (select 1) Could not initialize class com.cloudera.impala.jdbc42.internal.apache.thrift.transport.TSocket 3. Impala SQ.. 2020. 10. 14. 쿠버네티스 명령어 (with CDSW) ◾ 쿠버네티스 pod 리스트 조회 kubectl get pods --all-namespaces -o wide ◾ pod 접속 kubectl exec -it 팟이름 -n 네임스페이스 /bin/bash ex) kubectl exec -it 5w1ixw5q39iqvcfi -n default-user-1 /bin/bash ◾ pod 로그 확인 방법 ## f 옵션은 실시간 확인 kubectl logs -f 5w1ixw5q39iqvcfi -n default-user-1 ## pod init 로그 확인 (Init:CrashLoopBackOff, Init:Error 발생할 때 확인) ## init-container name은 describe 명령어 실행으로 확인 가능 kubectl logs 5w1ixw5q39iqvcf.. 2020. 10. 13. Cloudera Streams Messaging Manager Installation 🚫 ERROR org.flywaydb.core.api.FlywayException: Unable to instantiate JDBC driver class not found exception com.mysql.cj.jdbc.driver 💡 SOLVED https://docs.cloudera.com/cdp-private-cloud-base/latest/installation/topics/csp-configuring-schema-registry-metadata-stores-in-mysql.html 2020. 9. 17. Websocket connection failed ws:// err_name_not_resolved 🚫 ERROR Websocket connection failed ws://ex.websocket.com err_name_not_resolved 💡 SOLVED 접속하는 PC의 hosts 파일에 해당 호스트명과 IP를 입력해줍니다. C:\Windows\System32\drivers\etc\hosts 파일 열어서 아래 내용 입력 128.x.x.1 ex.websocket.com 2020. 9. 10. OpenLDAP + phpLDAPadmin 설치 및 설정 OpenLDAP LDAP 프로토콜을 사용하여 디렉토리(사용자/그룹) 정보를 저장하고 검색하는 역할의 서비스 phpLDAPadmin OpenLDAP 서버를 웹 기반으로 관리하기 위한 LDAP 클라이언트 웹 애플리케이션 1. Install OpenLDAP $ sudo yum -y install openldap-servers openldap-clients $ sudo systemctl start slapd $ sudo systemctl status slapd $ sudo systemctl enable slapd $ sudo yum -y install net-tools $ sudo netstat -antup | grep -i 389 tcp 0 0 0.0.0.0:389 0.0.0.0:* LISTEN 8969/sl.. 2020. 9. 2. [SOLVED] UnicodeDecodeError: 'ascii' codec can't decode byte 0xed in position 80: ordinal not in range(128) 🚫 ERROR hue에서 hive 사용할때 한글을 insert 하려면 인코딩 관련 에러가 발생하는데요. UnicodeDecodeError: 'ascii' codec can't decode byte 0xed in position 80: ordinal not in range(128) 💡 SOLVED hue에서 쿼리를 처리할때 실행되는 python 인코딩 타입이 ascii로 설정되어 있어서 그렇습니다. 해당 파이썬 스크립트 찾아서 수정 후 Hue 재기동 하면 됩니다. (ascii > utf-8) vi /opt/cloudera/parcels/CDH/lib/hue/build/env/lib/python2.7/site.py ----------------------------------------------------.. 2020. 7. 6. 이전 1 ··· 4 5 6 7 8 9 10 ··· 20 다음
