ALL162 [zeppelin] python interpreter 설치 및 연동 클라우데라에서 zeppelin 서비스에 python interpreter 설치 및 연동하는 방법입니다. clouder doc에는 나와있지 않아 과거 HDP와 Apache Zeppelin 문서 참고 하였습니다 🙂 1. zeppelin 설치된 서버 접속 후 파이썬 인터프리터 설치 설치 완료되면 /opt/cloudera/parcels/CDH/lib/zeppelin/interpreter/python 경로가 생성됨 하위 경로 권한 확인 (chmod 644) /opt/cloudera/parcels/CDH/lib/zeppelin/bin/install-interpreter.sh -n python 2. zeppelin web-ui > interpreter > create python interpreter가 정상 설치되면.. 2022. 8. 18. [zeppelin] Authentication failed for PAM. 🚫 ERROR Exception in login: org.apache.shiro.authc.AuthenticationException: Authentication failed for PAM. Caused by: org.jvnet.libpam.PAMException: pam_authenticate failed : Authentication failure 💡 SOLVED ## check shiro.ini: -------------------------------------------- pamRealm=org.apache.zeppelin.realm.PamRealm pamRealm.service=sshd -------------------------------------------- ## set acl $ se.. 2022. 8. 16. [리눅스] 여러 jar 파일안에 class 목록 한번에 출력 ll | grep log4j | awk '{print $9}' | xargs -d '\n' -n 1 jar -tvf find . -name "*.jar" -exec echo ==\ {} \; -exec jar tf {} \;|grep -E "==|HiveMetaStore" 2022. 8. 4. [Microsoft] AZ-900 합격 후기 (5시간 공부) 요즘 여러 기업에서 Cloud 요건들이 많아지고 있어 취업이나 이직시 Cloud 자격증 한 개쯤 가지고 있으면 도움이 많이 될 겁니다. 그래서 짧은 시간 투자해서 쉽게 취득할 수 있는 Microsoft AZ-900 자격을 추천드려요. 시험도 무료로 볼 수 있어 시간만 투자하면 됩니다. 저는 2021/12에 시험을 봤었습니다. 결론부터 말씀드리면 아래 링크의 덤프에서 90프로 이상 문제가 동일하게 나옵니다. 문제랑 답 위주로 공부하시면 충분합니다. 저 같은 경우는 이틀 동안 5시간 정도 투자해서 합격했습니다. 아래 사이트 접속하면 문제가 230개 정도 되는데 1번만 정독하는데도 시간이 꽤 많이 소요됩니다. 그래서 저는 100문제까지만 반복하여 보면서 눈에 익히도록 3번 회독했습니다. (이틀 동안 2시간, .. 2022. 5. 28. [리눅스] 하위 디렉토리 각 사이즈 내림차순 출력 $ du -h --max-depth=1 | sort -rh ----------------------------------------- 138G . 137G ./dfs 1.3G ./yarn 284M ./hadoop-ozone 193M ./kudu ----------------------------------------- 2022. 4. 25. [SOLVED] Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-on0urr/pip/ 🚫 ERROR pip 패키지 설치 과정에서 아래 에러가 계속 발생하여 검색해 보니 pip, setuptools 업그레이드하라고 나옵니다 Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-on0urr/pip/ 그래서 업그레이드를 진행하려고 'pip install --upgrade pip' 명령어를 실행했는데 다른 에러가 발생하네요 😥 [root@localhost ~] pip install --upgrade pip Collecting pip Using cached https://files.pythonhosted.org/packages/33/c9/e2164122d365d8f823213a53970fa3005eb16218ed.. 2022. 4. 12. [리눅스] 로그 추출 및 삭제주기 설정 📌 /var/log/message 의 쌓이는 docker log 별도 저장 및 삭제 주기 설정 $ vi /etc/rsyslog.d/10-docker.conf # Docker logging *.* { /var/log/docker/docker.log stop } $ systemctl restart rsyslog $ vi /etc/logrotate.d/docker /var/log/docker/docker.log { size 100M rotate 10 missingok compress } 2022. 3. 4. impala-shell 패스워드 입력없이 Ldap 로그인하는 방법 impala-shell에서 아래 2가지 내용에 대해 해결하는 방법입니다 impala-shell 명령어 실행시 해당 계정으로 옵션 입력없이 로그인하는 방법 impala-shell 명령어 실행시 Ldap 로그인 패스워드 입력없이 실행시키는 방법 1. 해당 계정의 .impalarc 파일 생성 $ vi /home/user1/.impalarc 2. 아래 사이트에서 Command-Line Option과 Configuration File Setting 비교하여 .impalarc 파일 작성 🔗 참고 사이트: https://impala.apache.org/docs/build/html/topics/impala_shell_options.html 3. impalarc 파일 작성 ◾ 실행하려는 impala-shell 명령어 i.. 2021. 11. 25. 이전 1 2 3 4 5 6 7 8 ··· 21 다음
