본문 바로가기

💻Tech/🐘hadoop27

Cloudera Streams Messaging Manager Installation 🚫 ERROR org.flywaydb.core.api.FlywayException: Unable to instantiate JDBC driver class not found exception com.mysql.cj.jdbc.driver 💡 SOLVED https://docs.cloudera.com/cdp-private-cloud-base/latest/installation/topics/csp-configuring-schema-registry-metadata-stores-in-mysql.html 2020. 9. 17.

OpenLDAP + phpLDAPadmin 설치 및 설정 OpenLDAP LDAP 프로토콜을 사용하여 디렉토리(사용자/그룹) 정보를 저장하고 검색하는 역할의 서비스 phpLDAPadmin OpenLDAP 서버를 웹 기반으로 관리하기 위한 LDAP 클라이언트 웹 애플리케이션 1. Install OpenLDAP $ sudo yum -y install openldap-servers openldap-clients $ sudo systemctl start slapd $ sudo systemctl status slapd $ sudo systemctl enable slapd $ sudo yum -y install net-tools $ sudo netstat -antup | grep -i 389 tcp 0 0 0.0.0.0:389 0.0.0.0:* LISTEN 8969/sl.. 2020. 9. 2.

[SOLVED] UnicodeDecodeError: 'ascii' codec can't decode byte 0xed in position 80: ordinal not in range(128) 🚫 ERROR hue에서 hive 사용할때 한글을 insert 하려면 인코딩 관련 에러가 발생하는데요. UnicodeDecodeError: 'ascii' codec can't decode byte 0xed in position 80: ordinal not in range(128) 💡 SOLVED hue에서 쿼리를 처리할때 실행되는 python 인코딩 타입이 ascii로 설정되어 있어서 그렇습니다. 해당 파이썬 스크립트 찾아서 수정 후 Hue 재기동 하면 됩니다. (ascii > utf-8) vi /opt/cloudera/parcels/CDH/lib/hue/build/env/lib/python2.7/site.py ----------------------------------------------------.. 2020. 7. 6.

[SOLVED] KeeperErrorCode = ConnectionLoss for /hbase 🚫 ERROR HBase에서 ConnectionLoss 에러가 발생해서 zookeeper 로그를 확인해 보니, Too many Connection 에러가 발생하고 있었습니다. ## Hbase Error KeeperErrorCode = ConnectionLoss for /hbase ## Zookeeper Error Too many connections from /x.x.x.x - max is 60 💡 SOLVED 두 가지 방법이 있습니다. 1. 아래 명령어로 zookeeper에 접속하는 프로세스를 확인하면 아래 결과와 같이 하나에 프로세스에서 많은 connection을 잡고 있습니다. 저 같은 경우는 Ranger였고 Ranger 재기동 후 Zookeeper connection 수 30 밑으로 줄어 들었습니.. 2020. 6. 17.

[zeppelin] hive interpreter 연동 방법 Zeppelin 설치 후 hive를 사용하려면 interpreter를 추가 해줘야 합니다. 추가하지 않고 사용하면 아래 에러가 발생합니다. Error: Either no interpreter named hive or it is not binded to this note 원인 : hive interpreter 생성하지 않고 %hive 사용시 발생 Error : zeppelin Unable to read HiveServer2 configs from ZooKeeper 원인 : hive url 주소가 잘못돼서 발생 1. Zeppelin 로그인 2. 오른쪽 상단에 Interpreter 클릭 3. Interpreter 화면 4. 오른쪽 상단에 create 버튼을 클릭하고 hive interpreter를 설정해 줍니.. 2020. 6. 12.

[Hadoop] 사용자 HDFS 접근 권한 설정 방법 (Ranger가 설치되어 있으면 Ranger에서 관리하는게 좋습니다) https://heum-story.tistory.com/146 Apache Ranger 사용법 Ranger 각 기능들 어떻게 사용하는지 확인해보겠습니다. Ranger란? 하둡 전체 서비스에 대한 보안 정책을 적용할 수 있고 관리 및 운영할 수 있는 프레임워크입니다. 하둡의 보안관련 조 heum-story.tistory.com 리눅스 사용자를 hdfs에 접근 권한 설정하는 두가지 방법입니다. 1. ACL 명령어 사용 hdfs-site.xml 아래 설정 변경해야 ACL 사용가능 dfs.namenode.acls.enabled= true ## root user를 hdfs /user 경로에 읽기,쓰기,실행 권한을 줌 hadoop fs -setf.. 2020. 5. 12.

[Hadoop] Number of Under Replicated Blocks 해결방법 테스트 용도로 DataNode를 2대로 구성했는데, 초기 설치 때 기본 replication 설정이 3이기 때문에 발생한 내용으로 설치 후 replication을 2로 변경했습니다. ## Under replicated 파일 경로 목록 저장 $ hdfs fsck / | grep 'Under replicated' | awk -F':' '{print $1}' > /tmp/under_replicated_files ## 중복 행 제거 $ sort -u /tmp/under_replicated_files > /tmp/under_replicated_files_sort ## shell 스크립트 생성 $ vi run_set_replication.sh ----------------------------------------.. 2020. 4. 5.

Ambari HDP component 삭제 후 재설치 💡 Ambari HDP 에코시스템에 문제가 발생해 해당 서비스를 삭제 후 재설치 방법 아래 명령어 실행 후 ambari에서 재설치 진행해주면 됩니다. $ rm -rf /usr/hdp/2.6.5.1175-1/ranger-kms $ rm -rf /etc/ranger/kms $ yum remove ranger_2_6_5_1175_1-kms.x86_64 2020. 2. 28.

이전 1 2 3 4 다음

티스토리툴바