본문 바로가기

💻Tech160

[리눅스] I/O Error 디스크 찾는 명령어 리눅스 서버 서비스 작동에 문제가 생기거나 에러가 발생하여 찾아보면 잦은 경우로 Disk I/O Error가 발생합니다. 아래 명령어를 사용하면 해당 디스크 접속해서 ls 명령어로 일일이 조회해보지 않고 Error 경로가 바로 확인됩니다. 💡 dmesg 명령어로 한 번에 i/o error 가 발생하는 Disk(/dev/sde) 확인 dmesg는 시스템 부팅 및 동작 중에 커널(kernel)에서 생성된 로그 메시지를 표시하는데 사용 $ dmesg -T | grep 'I/O error' -------------------------------------------------------------------- EXT4-fs (sde): previous I/O error to superblock detected.. 2019. 5. 16.

[Hive] header 제거 옵션 hive에서 데이터 조회 시 파일에 헤더가 있는 경우 파일에서 직접 헤더를 제거하지 않고 아래 옵션으로 대체 가능합니다. 스키마 마지막 줄에 아래 옵션 추가 하거나 ALTER TABLE 명령어로 적용해 줍니다. ◾ 헤더 제거 옵션 설정 1번째 라인 제거하고 데이터 조회 됩니다. ALTER TABLE db_nm.tb_nm set tblproperties("skip.header.line.count"="1"); ◾ 추가한 옵션 제거 ALTER TABLE db_nm.tb_nm UNSET TBLPROPERTIES('skip.header.line.count'); 2019. 5. 16.

[리눅스] 과거 데이터 기간별 삭제 명령어 (find사용) 리눅스 서버 관리할 때 특정 경로에 데이터를 주기적으로 삭제하고 싶을 때 아래 명령어 crontab에 등록하여 사용하시면 좋습니다. ## 7일 전 파일 삭제 find /data1/data/log/* -type f -mtime +7 -exec rm -rf {} \; find /var/log/service/ -type f -mtime +7 -delete ## 7일 전 디렉토리 삭제 find /data1/data/log/* -type d -mtime +7 -exec rm -rf {} \; 2019. 5. 16.

[리눅스] shell 스크립트 로그 출력없이 백그라운드 실행 ◾ 실행 명령어에 &>/dev/null 붙여 주시면 로그 출력 없이 스크립트 실행됩니다 $ sh test.sh &>/dev/null & ◾ CLI에 로그 남기지 않고 파일에 로그 저장하는 2가지 방법 지정한 파일에 로그 저장 nohup 파일에 로그 저장 $ sh test.sh > test.log 2>&1 & $ nohup sh test.sh & 2019. 5. 16.

[MySQL] Workbench 닫은 탭이 계속해서 열리는 현상 해결 Mysql Workbench 작업 시 탭을 닫고 재시작했을 때 계속해서 이전에 작업한 탭이 열리는 경우가 있는데요 아래 설정 적용하시면 됩니다 Edit -> Preferences -> SQL Editor -> Save snapshot of open editors on close (체크 해제) 2017. 12. 16.

[Hadoop] 명령어 GC overhead limit exceeded hadoop 명령어 수행 중 GC overhead limit exceeded 와 같은 에러 발생될 경우 hadoop-env.sh 설정파일에서 메모리 변경 export HADOOP_CLIENT_OPTS="-XX:-UseGCOverheadLimit -Xmx1024m" 2017. 10. 18.

Hive 명령어 정리 ◾ 데이터베이스 생성 CREATE DATABASE IF NOT EXISTS db_nm; ◾ 테이블 생성 External : hive에서 테이블 drop할 경우 hdfs 경로 및 파일 보존 HDFS 경로의 데이터 뿐만 아니라 Amazon, Azure 등의 클라우드 스토리지로 지정 가능 Managed : hive에서 테이블 drop할 경우 hdfs 경로 및 파일 삭제 -- External Table CREATE EXTERNAL TABLE IF NOT EXISTS db_nm.table_nm ( a string comment 'a', b string comment 'b', c string comment 'c' ) comment 'table comment' PARTITIONED BY (DT STRING) ROW .. 2017. 2. 15.

[svn] java is out of date disable 이클립스에서 svn commit 안되면서 java is out of date disable 와 같은 에러가 날 경우 프로젝트 오른쪽 버튼 > Team > CleanUP 2017. 2. 9.

이전 1 ··· 13 14 15 16 17 18 19 20 다음

티스토리툴바