본문 바로가기

💻Tech160

[Impala] memory limit exceeded 🚫 ERROR Memory limit exceeded: Error occurred on backend impala-executor-000-1:27000 by fragment ce406efbcc638b19:6306d59800000011 Memory left in process limit: 80.72 GB Memory left in query limit: -270.99 MB Query (ce406efbcc638b19:6306d59800000000): memory limit exceeded. Limit=2.00 GB Reservation=642.00 MB ReservationLimit=1.60 GB OtherMemory=1.64 GB Total=2.26 GB Peak=2.26 GB Fragment 💡 SOLV.. 2021. 8. 19.

conda keyerror 'channels' is not in the 'channels' key of the config file conda config --remove channel 실행시 아래 에러 발생할 경우 조치 방법입니다. 🚫 ERROR conda keyerror 'channels' is not in the 'channels' key of the config file 💡 SOLVED 1. conda config --show channels 2. conda config --remove channel CHANNEL_NAME 2021. 7. 16.

Git clone/push LDAP 인증 문제 (http 500 에러) 🚫 ERROR fatal: unable to access 'https://localhost:8800/admin1/init_test.git/': The requested URL returned error: 500 💡 SOLVED 1. 아래 git 설정 해줘야 clone/push 인증 할 때 AD 계정 인증 됩니다. ## 설정 적용 $ vi /etc/gitlab/gitlab.rb -------------------------------- encryption = 'plain' -------------------------------- 2. 설정 후 재기동 $ gitlab-ctl reconfigure 🔎 참고 https://forum.gitlab.com/t/unable-to-clone-in-https-using.. 2021. 7. 9.

pip install (폐쇄망 로컬 whl 파일 직접 설치) ◾ whl 파일 직접 설치 user 옵션은 설치를 진행하는 해당 계정에 패키지 설치한다는 의미 user 옵션을 붙이지 않으면 root 계정으로 진행해야함 pip3 install --no-index --find-links . 파일명.whl --user ◾ requirements.txt 파일에 설치 패키지 목록 작성하여 실행 pip3 install --no-index --find-links . -r requirements.txt --user 2021. 6. 18.

[Hive] sequence 컬럼 생성 방법 🙆‍♂️ ROW_NUMBER() OVER() 구문을 사용해서 seq 번호를 저장 ## 기존 테이블에서 seq 컬럼을 추가한 테이블 생성 CREATE TABLE new_table( seq int, code string, description string, total_emp int, salary int ) STORE AS parquet; ## 기존 테이블에 ROW_NUMBER() OVER() 합수 사용해서 seq 컬럼 추가한 데이터 insert insert overwrite table new_table select * from ( select ROW_NUMBER() OVER() as RNUM, * from old_table) a where a.RNUM 2021. 4. 28.

[MariaDB] Replication 기능 적용 방법 MariaDB Replication 기능은 DB 데이터 백업 용도로 사용 (이중화가 아님) 1. Master 서버 1) mariaDB stop & DB 백업 $ systemctl stop mariadb $ mysqldump -uroot -p hue > hue.sql 2) server.cnf 설정 추가 vi /etc/my.conf.d/server.cnf ----------------------------- [mysqld] log_bin=mysql-bin server-id=1 ----------------------------- 3) systemctl start mariadb 4) mysql 접속 후 아래 명령어 실행 > GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.. 2021. 4. 20.

[Ranger] REST API Query History (hiveServer2, impala) 🌠 REST API URL http://localhost:6080/service/assets/accessAudit?page=0&pageSize=25&total_pages=55&totalCount=1363&startIndex=0&sortBy=eventTime&excludeServiceUser=true&startDate=03%2F30%2F2021 [파라미터 설명] > startDate=03%2F30%2F2021 (03/30/2021) > 조회 결과 agentID에 hiveServer2, impala로 쿼리 구분 가능 2021. 4. 8.

[리눅스] 여러 서버 원격 작업 (parallel-ssh, ssh remote shell) 리눅스에서 여러 서버들 동시에 작업할 때 유용한 2가지 방법입니다. (parallel-ssh를 추천) ◾ parallel-ssh 설치 및 사용 1. 다운 및 설치 pssh-2.3.1.tar.gz 다운 (https://code.google.com/archive/p/parallel-ssh/downloads/) tar xvzf pssh-2.3.1.tar.gz cd pssh-2.3.1 python setup.py install 2. 작업 host 파일 작성 vi allnodes ------------------------------ cdpwork01 cdpwork02 cdpwork03 ------------------------------ 3. keygen 생성 및 배포 ssh-keygen chmod 700 ... 2021. 3. 4.

이전 1 ··· 3 4 5 6 7 8 9 ··· 20 다음

티스토리툴바