본문 바로가기

💻Tech160

[Hadoop] replication 수 변경 및 확인 방법 hadoop replication 수를 명령어로 설정 가능합니다 1. 적용 hadoop fs -setRep 12 [path] 2. 확인 fsck 명령어로 입력 후 Agerage block replication을 확인하면 됩니다. hdfs fsck [path] ..................Status: HEALTHY Total size: 27820207400 B Total dirs: 419 Total files: 418 Total symlinks: 0 Total blocks (validated): 418 (avg. block size 66555520 B) Minimally replicated blocks: 418 (100.0 %) Over-replicated blocks: 0 (0.0 %) Under-.. 2019. 9. 26.

[Hive] beeline 계정,패스워드 없이 자동 로그인 설정 hive 3.0 같은 경우 모든 hive 접속을 beeline으로 수행해야하는데 매번 계정,패스워드 입력하는 불편함과 쉘 작성할 경우 보안문제가 있는데 아래 xml 파일을 ~/.beeline/ 밑에 생성해주면 자동 로그인이 가능합니다. 💡 LDAP 자동 인증 방법 vi /home/admin/.beeline/beeline-hs2-connection.xml --------------------------------------------------------------- beeline.hs2.connection.user hive beeline.hs2.connection.password hive_password --------------------------------------------------------.. 2019. 9. 23.

[Hadoop] Erasure Coding 적용 방법 이레이저 코딩 (Erasure Coding) 스토리지에서 데이터 저장공간의 효율성을 위해 설계된 데이터 복제방식 이레이저 코딩은 이레이저 코드(Erasure Code)를 이용하여 데이터를 인코딩하고, 데이터 손실시 디코딩 과정을 거쳐 원본 데이터를 복구하는 데이터 복구 기법중 하나 데이터 손실시 복구할 수 있는 기법일뿐 데이터 백업을 대체하는 방식이 아니라는 것에 주의 이레이저 코딩 처리 과정 데이터 원본을 n등분하여 나눔 > 연산과정(인코딩)을 통해 k개 패리티 생성 > (일부 데이터 손실) > n개의 데이터로 디코딩을 통해 원본 복구 HDFS Erasure Coding HDFS : 하나의 파일을 N개의 블록으로 분산 저장하는 파일 시스템 Fualt-tolerance : 하나의 파일을 이루고 있는 N개.. 2019. 9. 20.

[리눅스] REST API 호출 방법(curl) ◾ curl 명령어 사용 curl -i -H "Accept: application/json" -H "Content-Type:application/json" -X POST http://$1/ 2019. 9. 10.

[리눅스] vimrc 설정 ◾ vi 복사 붙여 넣기 할 때 탭 들어가는 현상 조치 ◾ vi 편집기 컬러 변경 (주석 등 가독성 좋음) vi ~/.vimrc ## 아래 내용 입력 set paste color ron 2019. 9. 6.

[리눅스] MySQL 쿼리 결과 쉘 변수에 저장 📌 MySQL 결과를 쉘 변수에 저장 쿼리 결과를 쉘 변수에 저장하고 싶다면 -N 옵션을 붙여서 사용합니다 N : 컬럼명 제외한 컬럼 값만 출력 RESULT=$(mysql -N -h'abc-01' -u'user' -p'1234' TEST_TABLE -e"select a,b from test") i=`expr index "$RESULT" "구분자"` A=${RESULT:0:$i-1} B=${RESULT:$i-1} 2019. 9. 4.

[리눅스] 쉘 스크립트 개행문자 사용 mysql 결과를 변수에 넣었는데 개행문자들이 '\n' 문자로 입력되어 별도로 split 해줘야 했어요 2019/08/05 - [Programming/Linux] - [Linux] mysql 접속 및 쿼리 실행 명령어 echo -e 옵션을 사용하는 방법으로 문제를 해결할 수 있었습니다 IFS로도 처리할 수 있을 것 같아요 💡 개행문자 실행 방법 e옵션은 escape 문자들을 실행 RESULT="aaa\nbbb\nccc\n" echo -e $RESULT ## 실행 결과 aaa bbb ccc 2019. 9. 4.

[리눅스] ftp 접속 계정 권한 777 주는 방법 1. vsftpd.conf 설정 파일 수정 해당 설정('local_umask=000')은 보안에 취약함 권장 설정은 local_umask=022 022로 설정되어 있다면, 파일은 644(666-022)의 권한을, 디렉토리는 755(777-022)의 권한을 갖음 vi /etc/vsftpd/vsftpd.conf -- 아래 내용으로 수정 local_umask=000 #local_umask=077 2. vsftpd 재기동 service vsftpd restart 2019. 8. 23.

이전 1 ··· 8 9 10 11 12 13 14 ··· 20 다음

티스토리툴바