ALL159 [SOLVED] KeeperErrorCode = ConnectionLoss for /hbase 🚫 ERROR HBase에서 ConnectionLoss 에러가 발생해서 zookeeper 로그를 확인해 보니, Too many Connection 에러가 발생하고 있었습니다. ## Hbase Error KeeperErrorCode = ConnectionLoss for /hbase ## Zookeeper Error Too many connections from /x.x.x.x - max is 60 💡 SOLVED 두 가지 방법이 있습니다. 1. 아래 명령어로 zookeeper에 접속하는 프로세스를 확인하면 아래 결과와 같이 하나에 프로세스에서 많은 connection을 잡고 있습니다. 저 같은 경우는 Ranger였고 Ranger 재기동 후 Zookeeper connection 수 30 밑으로 줄어 들었습니.. 2020. 6. 17. [zeppelin] hive interpreter 연동 방법 Zeppelin 설치 후 hive를 사용하려면 interpreter를 추가 해줘야 합니다. 추가하지 않고 사용하면 아래 에러가 발생합니다. Error: Either no interpreter named hive or it is not binded to this note 원인 : hive interpreter 생성하지 않고 %hive 사용시 발생 Error : zeppelin Unable to read HiveServer2 configs from ZooKeeper 원인 : hive url 주소가 잘못돼서 발생 1. Zeppelin 로그인 2. 오른쪽 상단에 Interpreter 클릭 3. Interpreter 화면 4. 오른쪽 상단에 create 버튼을 클릭하고 hive interpreter를 설정해 줍니.. 2020. 6. 12. [Hive] metastore 스키마 버전 업그레이드 사용 중이던 hive 버전을 올렸을 때 metastore 스키마가 변경된 경우 스키마도 업그레이드 필요합니다. 업그레이드하지 않으면 hive 서비스 실행할 때 아래와 같이 해당 컬럼을 찾을 수 없다는 에러가 발생합니다. java.sql.BatchUpdateException: Unknown column 'DB_MANAGED_LOCATION_URI' in 'field list' 💹 업그레이드 방법 hive에서 지원하는 schemaTool을 사용하여 업그레이드 진행해 줍니다. ◾ 버전 확인 명령어 hive --service schemaTool -url jdbc:mysql://[HOSTNAME]:3306/metastore -userName hive --passWord hive -dbType mysql -info.. 2020. 6. 2. [Hadoop] 사용자 HDFS 접근 권한 설정 방법 (Ranger가 설치되어 있으면 Ranger에서 관리하는게 좋습니다) https://heum-story.tistory.com/146 Apache Ranger 사용법 Ranger 각 기능들 어떻게 사용하는지 확인해보겠습니다. Ranger란? 하둡 전체 서비스에 대한 보안 정책을 적용할 수 있고 관리 및 운영할 수 있는 프레임워크입니다. 하둡의 보안관련 조 heum-story.tistory.com 리눅스 사용자를 hdfs에 접근 권한 설정하는 두가지 방법입니다. 1. ACL 명령어 사용 hdfs-site.xml 아래 설정 변경해야 ACL 사용가능 dfs.namenode.acls.enabled= true ## root user를 hdfs /user 경로에 읽기,쓰기,실행 권한을 줌 hadoop fs -setf.. 2020. 5. 12. [Hadoop] Number of Under Replicated Blocks 해결방법 테스트 용도로 DataNode를 2대로 구성했는데, 초기 설치 때 기본 replication 설정이 3이기 때문에 발생한 내용으로 설치 후 replication을 2로 변경했습니다. ## Under replicated 파일 경로 목록 저장 $ hdfs fsck / | grep 'Under replicated' | awk -F':' '{print $1}' > /tmp/under_replicated_files ## 중복 행 제거 $ sort -u /tmp/under_replicated_files > /tmp/under_replicated_files_sort ## shell 스크립트 생성 $ vi run_set_replication.sh ----------------------------------------.. 2020. 4. 5. [리눅스] yum $releasever 변경하는 방법 yum repository에서 $releasever 변수를 사용하는데 잘못 설정되어 아래와 같은 에러가 발생하는 경우가 있는데요 /etc/yum/vars/releasever 생성 또는 변경하여 조치할 수 있습니다. 🚫 ERROR https://download.postgresql.org/pub/repos/yum/10/redhat/rhel-7.7-10.el7-x86_64/repodata/repomd.xml: [Errno 14] HTTPS Error 404 - Not Found 💡 SOLVED $ echo "7.7" > /etc/yum/vars/releasever 조회 방법 $ python -c 'import yum, pprint; yb = yum.YumBase(); pprint.pprint(yb.conf.y.. 2020. 4. 1. [Hive] 테이블 JSON 포맷 사용 방법 1. JSON 데이터 확인 2. Hive 데이터베이스/테이블 생성 json 중첩 객체가 존재할 경우 string으로 처리 json 컬럼 type 주의 (arrary) - 컬럼 List type을 String으로 설정해서 아래 에러가 발생함. org.apache.hadoop.hive.serde2.SerDeException: java.io.IOException: Field name expected CREATE DATABASE IF NOT EXISTS db_nm; CREATE EXTERNAL TABLE IF NOT EXISTS db_nm.tb_nm ( repotype string, repo string, requser string, tags array ) PARTITIONED BY (dt string) ROW.. 2020. 3. 27. Ambari HDP component 삭제 후 재설치 💡 Ambari HDP 에코시스템에 문제가 발생해 해당 서비스를 삭제 후 재설치 방법 아래 명령어 실행 후 ambari에서 재설치 진행해주면 됩니다. $ rm -rf /usr/hdp/2.6.5.1175-1/ranger-kms $ rm -rf /etc/ranger/kms $ yum remove ranger_2_6_5_1175_1-kms.x86_64 2020. 2. 28. 이전 1 ··· 5 6 7 8 9 10 11 ··· 20 다음
