리눅스 서버 운영중 서비스 작동에 문제가 생기거나 에러가 발생하여 찾아보면 잦은 경우로

disk I/O Error 발생한다. 해당 디스크 접속해서 ls 명령어로 일일이 조회 해보지 않고 아래 dmesg 명령어로

한번에 disk i/o error 확인 할 수 있다.

 

dmesg | grep 'I/O error'

 

블로그 이미지

Heum's

IT 관련 지식 공유

hive에서 데이터 조회 시 파일에 헤더가 있는경우 파일에서 직접 헤더를 제거하지 않고

아래 옵션으로 대체 가능합니다.

 

스키마 마지막 줄에 아래 옵션 추가 합니다.

 

tblproperties("skip.header.line.count"="1");

1번째 라인 제거하고 데이터 조회 됩니다.

블로그 이미지

Heum's

IT 관련 지식 공유

리눅스 서버 관리할 때 해당 경로에 데이터를 주기적으로 삭제하고 싶을때

아래 명령어 crontab에 등록하여 사용하시면 좋습니다.

 

find /data1/data/log/* -type f -mtime +7 -exec rm -rf {} \; (7일 전 파일 삭제)
find /data1/data/log/* -type d -mtime +7 -exec rm -rf {} \; (7일 전 디렉토리 삭제)

 

블로그 이미지

Heum's

IT 관련 지식 공유