본문 바로가기

💻Tech/🐘hadoop27

zeppelin notebook execute REST API ◾ curl 명령어로 zeppelin 노트북 실행 방법 #!/bin/bash kinit -kt /opt/cloudera/security/user.keytab userid curl -X POST -H "accept: application/json" --negotiate -u : \ https://zeppelin-server-url:8886/api/notebook/run/$1/$2 $1 : paragraph $2 : notebook index name 확인 : zeppelin > notebook > wheel icon 2023. 11. 22.

[SOLVED] datanode denied communication with namenode because hostname cannot be resolved 🚫 ERROR datanode denied communication with namenode because hostname cannot be resolved 💡 SOLVED DNS 설정으로 별도로 /etc/hosts 작업을 안했고, 확인해보니 역방향 DNS 등록이 안돼서 발생한 문제 /etc/hosts에 FQDN 등록 작업으로 바로 문제 해결 2023. 9. 27.

Apache Ranger 사용법 Ranger Web UI 각 기능들 사용방법입니다. Ranger란? 하둡 전체 서비스에 대한 보안 정책을 적용할 수 있고 관리 및 운영할 수 있는 Hadoop Component 하둡의 보안 관련 조치는 대부분 Ranger에서 처리 가능하다고 보시면 됩니다. Ranger Architecture Ranger는 Hadoop의 전체 컴포넌트에 대한 Ranger 플러그인을 활성화하여 모든 액세스를 제어할 수 있습니다. Ranger 플러그인과 Ranger policy server 간에는 양방향 통신이 이루어지며, Ranger 플러그인은 정기적으로(30초) Ranger Policy Server를 호출하여 새로운 정책이 정의되었는지 확인합니다. 🔗 https://doc.hcs.huawei.com/productdesc/.. 2023. 8. 23.

zeppelin interpreter resource share mode (notebook pending) zeppelin 에서 여러 태스크를 실행하면, 선행 작업이 끝날때까지 작업이 pending 걸리는 경우가 있네요 🔗 링크 참고 https://zeppelin.apache.org/docs/0.8.0/usage/interpreter/interpreter_binding_mode.html 2022. 9. 19.

[zeppelin] python interpreter 설치 및 연동 클라우데라에서 zeppelin 서비스에 python interpreter 설치 및 연동하는 방법입니다. clouder doc에는 나와있지 않아 과거 HDP와 Apache Zeppelin 문서 참고 하였습니다 🙂 1. zeppelin 설치된 서버 접속 후 파이썬 인터프리터 설치 설치 완료되면 /opt/cloudera/parcels/CDH/lib/zeppelin/interpreter/python 경로가 생성됨 하위 경로 권한 확인 (chmod 644) /opt/cloudera/parcels/CDH/lib/zeppelin/bin/install-interpreter.sh -n python 2. zeppelin web-ui > interpreter > create python interpreter가 정상 설치되면.. 2022. 8. 18.

[zeppelin] Authentication failed for PAM. 🚫 ERROR Exception in login: org.apache.shiro.authc.AuthenticationException: Authentication failed for PAM. Caused by: org.jvnet.libpam.PAMException: pam_authenticate failed : Authentication failure 💡 SOLVED ## check shiro.ini: -------------------------------------------- pamRealm=org.apache.zeppelin.realm.PamRealm pamRealm.service=sshd -------------------------------------------- ## set acl $ se.. 2022. 8. 16.

[Ranger] REST API Query History (hiveServer2, impala) 🌠 REST API URL http://localhost:6080/service/assets/accessAudit?page=0&pageSize=25&total_pages=55&totalCount=1363&startIndex=0&sortBy=eventTime&excludeServiceUser=true&startDate=03%2F30%2F2021 [파라미터 설명] > startDate=03%2F30%2F2021 (03/30/2021) > 조회 결과 agentID에 hiveServer2, impala로 쿼리 구분 가능 2021. 4. 8.

kudu 명령어 정리 ◾ 테이블 생성 (as select) CREATE TABLE temp.kudu_cm_audits PRIMARY KEY (audit_id) STORED AS KUDU TBLPROPERTIES ('kudu.num_tablet_replicas' = '1') AS SELECT * FROM temp.cm_audits ; ◾ 테이블 생성 (range partition) CREATE TABLE IF NOT EXISTS temp.kudu_sample( gubun string, seq int, code string, description string, total_emp int, salary int, PRIMARY KEY(gubun,seq) ) PARTITION BY RANGE(gubun)( PARTITION VALUE .. 2020. 12. 23.

이전 1 2 3 4 다음

티스토리툴바