[Impala] memory limit exceeded

---

🚫 ERROR

Memory limit exceeded: Error occurred on backend impala-executor-000-1:27000 by fragment 
ce406efbcc638b19:6306d59800000011 Memory left in process limit: 80.72 GB Memory left in query limit: -270.99 MB Query
(ce406efbcc638b19:6306d59800000000): memory limit exceeded. 
Limit=2.00 GB Reservation=642.00 MB ReservationLimit=1.60 GB OtherMemory=1.64 GB Total=2.26 GB Peak=2.26 GB Fragment

 

💡 SOLVED

• 기본 executor 메모리가 2gb로 설정되어 있어 아래 명령어로 MEM_LIMIT 값을 늘려줌 (hue에서 실행 가능)
• 보통 100GB 이상 설정 해놓기때문에 아래 옵션은 크게 설정할 경우는 없음

SET MEM_LIMIT=4gb;

 

• 위 메모리 부족 에러를 회피하기 위해서는 테이블 통계 정보 수집하여 쿼리 성능을 높여주는 아래 명령어를 사용하는 것이 좋음

COMPUTE STATS {TABLE_NAME}

 

• 추가로 테이블 상태 확인 명령어

SHOW TABLE STATS {TABLE_NAME}

 

 

🔎 참고

https://heum-story.tistory.com/205

impala 명령어