ALL159 Unable to issue query: the Host Monitor is not running 🚫 ERROR Unable to issue query: the Host Monitor is not running 💡 SOLVED you can install Cloudera Management Serviceor or CM -> Cloudera Management Services -> Instances -> Select the Host Monitor instance and click restart from the actions for selected instances blue button above the instances table. 2020. 1. 7. [리눅스] JAVA 파일 실행 방법 java 파일 생성하여 리눅스에서 java 실행하는 방법입니다. 자바코드는 메인함수로 입력되는 값을 출력하는 간단한 코드로 작성했습니다. public class test{ public static void main(String[] args){ for(String arg:args){ System.out.println(arg); } } } 1. java 파일 컴파일 - 디렉토리 안에 자바파일을 컴파일하여 클래스 생성 - java 파일명과 코드 안에 class 명을 맞춰야 함 javac -d . test.java - 여러 lib jar 파일의 클래스 패스 연결해서 컴파일할 때 javac -d . -cp lib/hadoop-common-2.7.0.jar:lib/hadoop-distcp-2.7.3.jar:lib/.. 2019. 11. 21. [Hive] 접속 session timeout 설정 hive.server2.idle.operation.timeout = 2h hive.server2.idle.session.timeout = 3h hive.server2.session.check.interval = 3600000 (1h) 2019. 11. 21. [NiFi] GetFTP - PutHDFS 연동 예제 간단한 nifi 사용방법입니다. ftp 서버에서 데이터를 가져와 hdfs에 업로드하는 예제입니다. 1. Processor 버튼을 작업 화면에 끌어 놓으면 nifi에서 제공하는 processor를 선택할 수 있습니다. (GetFTP, PutHDFS 추가) 2. 추가 후 Configure에서 설정을 하고 processor 위에 마우스 커서를 옮기면 버튼이 나오는데 클릭 후 두 개의 프로세서를 연결해 줍니다. GetFTP 프로세서에 스케줄을 10초로 설정하여 10초마다 실행되게 해 주었습니다. ftp 서버와 파일 정보 입력 (Delete Original 옵션을 true 설정하면 get 이후 원천경로 데이터를 삭제) hdfs 설정파일 위치와 업로드할 경로를 입력합니다. 프로세스 연결해 준 상태 (노란색 Warn.. 2019. 11. 20. [Java] REST API 호출 코드 JsonObject를 넘겨 결과값을 응답받는 REST API 호출 자바 코드입니다. 아래와 같이 메소드로 하나 정리해 두면 사용에 용이합니다. /** * REST API 호출 * * @param paramUrl * @param jsonObject void */ private void RestCall(String paramUrl,JSONObject jsonObject){ try { URL url = new URL(paramUrl); HttpURLConnection conn = (HttpURLConnection)url.openConnection(); conn.setRequestMethod("POST"); conn.setRequestProperty("X-Auth-Token", API_KEY); conn.set.. 2019. 11. 19. [Python] httplib.badstatusline 에러 해결 방법 httplib로 API URI 호출하는 과정에서 아래와 같은 에러가 발생했습니다. API 호출을 반복하여 계속 호출하는 코드였는데, 첫번째 호출은 정상적으로 호출 되지만 두번째 호출부터 에러가 발생하네요 Traceback (most recent call last): File "test.py", line 40, in clusterInfo = getAppPendingCnt(conn) File "yarnAppStatus.py", line 9, in getAppPendingCnt r1 = conn.getresponse() File "/usr/lib64/python2.7/httplib.py", line 1113, in getresponse response.begin() File "/usr/lib64/python2.. 2019. 11. 1. [Hive] 쿼리 조회시 파티션 필수 입력 옵션 hive 쿼리 실행 시 파티션 조건을 주지 않고 실행할 경우 YARN 자원을 많이 사용하기 때문에 클러스터에 부하를 줍니다. 이러한 문제를 예방하기 위해 hive 파티션 테이블 경우 where 구문 필수 입력 조건을 설정할 수 있습니다 set hive.mapred.mode=strict 2019. 9. 30. [Hadoop] replication 수 변경 및 확인 방법 hadoop replication 수를 명령어로 설정 가능합니다 1. 적용 hadoop fs -setRep 12 [path] 2. 확인 fsck 명령어로 입력 후 Agerage block replication을 확인하면 됩니다. hdfs fsck [path] ..................Status: HEALTHY Total size: 27820207400 B Total dirs: 419 Total files: 418 Total symlinks: 0 Total blocks (validated): 418 (avg. block size 66555520 B) Minimally replicated blocks: 418 (100.0 %) Over-replicated blocks: 0 (0.0 %) Under-.. 2019. 9. 26. 이전 1 ··· 7 8 9 10 11 12 13 ··· 20 다음
