쿠버네티스 명령어 (with CDSW)

---

◾ 쿠버네티스 pod 리스트 조회

kubectl get pods --all-namespaces -o wide

 

◾ pod 접속

kubectl exec -it 팟이름 -n 네임스페이스 /bin/bash 
ex) kubectl exec -it 5w1ixw5q39iqvcfi -n default-user-1 /bin/bash

 

◾ pod 로그 확인 방법

## f 옵션은 실시간 확인
kubectl logs -f 5w1ixw5q39iqvcfi -n default-user-1

## pod init 로그 확인 (Init:CrashLoopBackOff, Init:Error 발생할 때 확인)
## init-container name은 describe 명령어 실행으로 확인 가능
kubectl logs 5w1ixw5q39iqvcfi -n default-user-1 -c init-container

 

◾ pod 상세 정보 확인

kubectl describe pod 5w1ixw5q39iqvcfi -n default-user-1

 

◾ pod 접속하지 않고 /etc/hosts 수정

kubectl exec -it msqylt1wj85wqkxl -n default-user-1 -- bash -c "echo 'xxx.xxx.xxx.xxx  hostname' >> /etc/hosts"

 

◾ CDSW Master,Worker 상태 확인

kubectl get node --show-labels

 

 

◾ show-labels STATUS가 SchedulingDisabled 상태이면 CDSW worker로 동작하지 않음

• 아래 명령어로 SchedulingDisabled 상태 해제

kubectl uncordon ${NODE_NAME}

 

◾ [Cloudera Manager] Spark - CDSW Python3 설정 후 CDSW 재기동

Spark Client Advanced Configuration Snippet (Safety Valve) for spark-conf/spark-env.sh
export PYSPARK_PYTHON=/usr/bin/python3

 

◾ CDSW code에서 python3 설정

• 코드 저장 후 세션 재시작

import os 
os.environ["PYSPARK_PYTHON"]="/usr/bin/python3"

 

◾ CDSW의 postgresql DB에 쿼리 실행

// 테이블 목록 확인
kubectl exec $(kubectl get pods -l role=db --no-headers=true -o custom-columns=NAME:.metadata.name) -ti -- psql -U sense -c "\dt"

// select 쿼리 실행
kubectl exec $(kubectl get pods -l role=db --no-headers=true -o custom-columns=NAME:.metadata.name) -ti -- psql -U sense -c "select * from jobs"

// project id와 name 매핑 결과
kubectl exec $(kubectl get pods -l role=db --no-headers=true -o custom-columns=NAME:.metadata.name) -ti -- psql -U sense -c 'select id,name from projects'