impala 명령어 정리

---

◾ Impala 옵션 값 확인

SET ALL;

 

◾ 파일을 분할하지 않고 1개 파일로 생성하고 싶을 때 아래 옵션 적용 후 insert 쿼리 실행

SET NUM_NODES=1;

◾ impala shell 접속

impala-shell -i impala.host.com:21000 -d default -l -u admin --auth_creds_ok_in_clear

 

◾ 테이블 통계 정보 수집 (쿼리 성능 향상, memory 부족 오류 발생 예방)

COMPUTE STATS {TABLE_NM}

 

◾ 간략한 테이블 정보 확인 (Rows, 파일 수, 테이블 size 등 정보 확인) 

SHOW TABLE STATS {TABLE_NM}

 

◾ 테이블 상세 정보 확인

DESCRIBE FORMATTED {TABLE_NM}

 

◾ SQL 수행 전 해당 쿼리 진단하여 hint를 줌 (Heavy Query 수행 전 실행하면 도움이 될듯)

EXPLAIN select * from {TABLE_NM};

 

◾ 데이터 변경이 생겼을 때 수행

• INVALIDATE METADATA : 테이블 생성이나 삭제시 수행 필요

REFRESH {TABLE_NM}; --일반 테이블
REFRESH bus_boarding_part PARTITION(work_dt='20191104'); --파티션 테이블

 

◾ 테이블의 데이터 파일명 및 사이즈 확인

SHOW FILES IN {TABLE_NM}; --일반 테이블
SHOW FILES IN bus_boarding_part PARTITION(work_dt='20191104'); --파티션 테이블

 

◾ 파티션 생성

ALTER TABLE {TABLE_NM} RECOVER PARTITIONS; --빠진거 찾아서 채워줌

 

◾ impala 옵티마이저에서 자동으로 Join 순서를 최적화하지 못 할 경우, 매뉴얼하게 테이블 Join 순서 지정하여 성능 향상에 도움을 줌

STRAIGHT_JOIN

 

◾ Impala SQL 최적화 관련 링크

🔗 https://impala.apache.org/docs/build/html/topics/impala_hints.html

Optimizer Hints

 

◾ String 날짜 > Timestamp 날짜로 변경 > Timestamp date 포맷 변경 > String 저장

from_timestamp(to_timestamp('220329 211243.165608', 'yyMMdd HHmmss.SSSSSS'), 'yyyy-MM-dd HH:mm:ss.SSSSSS')

 

◾ impala executor에 instance(thread)를 늘려 처리

• mt_dop=2로 설정하면 executor 3개 일 경우 (3*2)로 처리됨

set mt_dop=2;

 

◾ impala coordinator를 2대 이상 지정하고 로드밸런스 구성을 했을 때 해당 coord간 스키마 동기화 문제 발생 예방

🔗 https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/impala_sync_ddl.html

set sync_ddl=true;

 

◾ timestamp 데이터 타입을 사용하면 SQL 속도가 많이 느려지므로 string 사용이 좋음 (비교 결과)

 

◾ impala shell 옵션

• -f : sql 파일 실행
• -B : 출력 결과 표 형태 제거 (텍스트 값만 추출)
• -c : 오류 발생해도 계속 진행 (--ignore_query_failure)
• --quiet : 실행 로그 등 없이 결과 출력
• -k : 커버로스 인증 사용
• 위 옵션들로 impala-shell 수행하여 결과 값만 얻어서 변수에 저장 후 shell for문 사용 했습니다.

 

◾ impala 'waiting to be closed' query 종료 python 코드

🔗 https://cloudaeon.co.uk/how-to-resolve-top-performance-issue-in-impala/