💻Tech/🦌Impala4 [Impala] resource pool 생성 및 적용 방법 Impala에서 그룹명을 기준으로 resource pool을 생성하여, 각 그룹별 리소스를 분할한 방법입니다. 1. Impala Admission Control Configuration 접속 CM > Cluster Menu > Impala Admission Control Configuration 2. 그룹명 기준으로 pool 생성 Impala Admission Control Configuration > Create Resource Pool 버튼 클릭 Max memory 설정하여 그룹별 리소스 제한 clone 기능 사용하면 기존 default pool에 적용한 옵션 모두 복사 가능 3. placement rule 추가 Impala Admission Control Configuration > Placemen.. 2023. 10. 5. impala-shell 패스워드 입력없이 Ldap 로그인하는 방법 impala-shell에서 아래 2가지 내용에 대해 해결하는 방법입니다 impala-shell 명령어 실행시 해당 계정으로 옵션 입력없이 로그인하는 방법 impala-shell 명령어 실행시 Ldap 로그인 패스워드 입력없이 실행시키는 방법 1. 해당 계정의 .impalarc 파일 생성 $ vi /home/user1/.impalarc 2. 아래 사이트에서 Command-Line Option과 Configuration File Setting 비교하여 .impalarc 파일 작성 🔗 참고 사이트: https://impala.apache.org/docs/build/html/topics/impala_shell_options.html 3. impalarc 파일 작성 ◾ 실행하려는 impala-shell 명령어 i.. 2021. 11. 25. impala 명령어 정리 ◾ Impala 옵션 값 확인SET ALL; ◾ 파일을 분할하지 않고 1개 파일로 생성하고 싶을 때 아래 옵션 적용 후 insert 쿼리 실행SET NUM_NODES=1;◾ impala shell 접속impala-shell -i impala.host.com:21000 -d default -l -u admin --auth_creds_ok_in_clear ◾ 테이블 통계 정보 수집 (쿼리 성능 향상, memory 부족 오류 발생 예방)COMPUTE STATS {TABLE_NM} ◾ 간략한 테이블 정보 확인 (Rows, 파일 수, 테이블 size 등 정보 확인) SHOW TABLE STATS {TABLE_NM} ◾ 테이블 상세 정보 확인DESCRIBE FORMATTED {TABLE_NM} ◾ SQL 수행 전 .. 2021. 8. 24. [Impala] memory limit exceeded 🚫 ERROR Memory limit exceeded: Error occurred on backend impala-executor-000-1:27000 by fragment ce406efbcc638b19:6306d59800000011 Memory left in process limit: 80.72 GB Memory left in query limit: -270.99 MB Query (ce406efbcc638b19:6306d59800000000): memory limit exceeded. Limit=2.00 GB Reservation=642.00 MB ReservationLimit=1.60 GB OtherMemory=1.64 GB Total=2.26 GB Peak=2.26 GB Fragment 💡 SOLV.. 2021. 8. 19. 이전 1 다음
