💻Tech160 CDSW jobs api 호출 Python 코드 ◾ start import sys, requests if len(sys.argv) > 1: job_id = sys.argv[1] else : print ("Please Input Job ID") exit() url = "http://cdsw.local.com/api/v1/projects/admin/python-example/jobs/" + job_id + "/start" user = "ua64c7h1ghddrbyexf5rf9svbbwhnsl1" password = "" headers = {'Content-Type': 'application/json; charset=utf-8'} r = requests.post(url, auth=(user,password), headers=headers) if r.stat.. 2021. 2. 19. Docker custom image 생성 방법 (with CDSW) 1. Dockerfile 생성 $ vi Dockerfile ------------------------------------------------------------------- # Dockerfile # Specify a Cloudera Data Science Workbench base image FROM docker.repository.cloudera.com/cdsw/engine:13 # Update packages on the base image and install beautifulsoup4 RUN pip3 install beautifulsoup4 ------------------------------------------------------------------- 2. Dockerfile b.. 2021. 1. 8. kudu 명령어 정리 ◾ 테이블 생성 (as select) CREATE TABLE temp.kudu_cm_audits PRIMARY KEY (audit_id) STORED AS KUDU TBLPROPERTIES ('kudu.num_tablet_replicas' = '1') AS SELECT * FROM temp.cm_audits ; ◾ 테이블 생성 (range partition) CREATE TABLE IF NOT EXISTS temp.kudu_sample( gubun string, seq int, code string, description string, total_emp int, salary int, PRIMARY KEY(gubun,seq) ) PARTITION BY RANGE(gubun)( PARTITION VALUE .. 2020. 12. 23. [NiFi] Impala JDBC DBCPConnectionPool 사용 예제 1. Impala JDBC Connector 다운로드 https://www.cloudera.com/downloads/connectors/impala/jdbc/2-6-17.html 2. NiFi DBCPConnectionPool 설정 Database Driver Location(s) 업로드한 파일 경로 입력 /opt/cloudera/parcels/CFM/NIFI/lib/ImpalaJDBC42.jar 경로를 지정하지 않을 경우 아래와 같은 에러가 발생함 Validation query 입력해주면 좋음 (select 1) Could not initialize class com.cloudera.impala.jdbc42.internal.apache.thrift.transport.TSocket 3. Impala SQ.. 2020. 10. 14. 쿠버네티스 명령어 (with CDSW) ◾ 쿠버네티스 pod 리스트 조회 kubectl get pods --all-namespaces -o wide ◾ pod 접속 kubectl exec -it 팟이름 -n 네임스페이스 /bin/bash ex) kubectl exec -it 5w1ixw5q39iqvcfi -n default-user-1 /bin/bash ◾ pod 로그 확인 방법 ## f 옵션은 실시간 확인 kubectl logs -f 5w1ixw5q39iqvcfi -n default-user-1 ## pod init 로그 확인 (Init:CrashLoopBackOff, Init:Error 발생할 때 확인) ## init-container name은 describe 명령어 실행으로 확인 가능 kubectl logs 5w1ixw5q39iqvcf.. 2020. 10. 13. Cloudera Streams Messaging Manager Installation 🚫 ERROR org.flywaydb.core.api.FlywayException: Unable to instantiate JDBC driver class not found exception com.mysql.cj.jdbc.driver 💡 SOLVED https://docs.cloudera.com/cdp-private-cloud-base/latest/installation/topics/csp-configuring-schema-registry-metadata-stores-in-mysql.html 2020. 9. 17. Websocket connection failed ws:// err_name_not_resolved 🚫 ERROR Websocket connection failed ws://ex.websocket.com err_name_not_resolved 💡 SOLVED 접속하는 PC의 hosts 파일에 해당 호스트명과 IP를 입력해줍니다. C:\Windows\System32\drivers\etc\hosts 파일 열어서 아래 내용 입력 128.x.x.1 ex.websocket.com 2020. 9. 10. OpenLDAP + phpLDAPadmin 설치 및 설정 OpenLDAP LDAP 프로토콜을 사용하여 디렉토리(사용자/그룹) 정보를 저장하고 검색하는 역할의 서비스 phpLDAPadmin OpenLDAP 서버를 웹 기반으로 관리하기 위한 LDAP 클라이언트 웹 애플리케이션 1. Install OpenLDAP $ sudo yum -y install openldap-servers openldap-clients $ sudo systemctl start slapd $ sudo systemctl status slapd $ sudo systemctl enable slapd $ sudo yum -y install net-tools $ sudo netstat -antup | grep -i 389 tcp 0 0 0.0.0.0:389 0.0.0.0:* LISTEN 8969/sl.. 2020. 9. 2. 이전 1 ··· 4 5 6 7 8 9 10 ··· 20 다음
