💻Tech/🐘hadoop27 [Apache Hadoop] 데이터 노드 추가/제거 방법 ◾ DataNode 추가 1. NameNode의 hosts 파일에 추가할 DataNode 정보 (ip, host) 추가 vi /etc/hosts 2. NameNode의 includes 파일을 생성 또는 편집하여 추가할 node의 hostname을 추가 vi /hadoop설치경로/etc/hadoop/dfs.hosts 3. 추가한 서버 접속 후 노드 실행 hadoop-daemon.sh start datanode yarn-daemon.sh start nodemanager 4. Namonde 서버에서 node refresh 명령 수행 hdfs dfsadmin -refreshNodes ◾ DataNode 제거 1. $HADOOP_HOME/etc/hadoop/hdfs.site.xml 파일에 아래 내용 추가 dfs... 2019. 6. 17. [Hadoop] missing block 찾는 방법 ◾ missing block error msg cannot obtain block length for LocatedBlock, Could not find CoarseGrainedScheduler or it has been stopped. ◾ check corrupt file hdfs fsck -list-corruptfileblocks hdfs fsck /{path} -openforwrite 2019. 5. 29. [Hadoop] 명령어 GC overhead limit exceeded hadoop 명령어 수행 중 GC overhead limit exceeded 와 같은 에러 발생될 경우 hadoop-env.sh 설정파일에서 메모리 변경 export HADOOP_CLIENT_OPTS="-XX:-UseGCOverheadLimit -Xmx1024m" 2017. 10. 18. 이전 1 2 3 4 다음