[Apache Hadoop] 데이터 노드 추가/제거 방법

1. NameNode의 hosts 파일에 추가할 DataNode 정보 (ip, host) 추가

vi /etc/hosts

2. NameNode의 includes 파일을 생성 또는 편집하여 추가할 node의 hostname을 추가

vi /hadoop설치경로/etc/hadoop/dfs.hosts

3. 추가한 서버 접속 후 노드 실행

hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager

4. Namonde 서버에서 node refresh 명령 수행

hdfs dfsadmin -refreshNodes

1. $HADOOP_HOME/etc/hadoop/hdfs.site.xml 파일에 아래 내용 추가

<property>
    <name>dfs.hosts.exclude</name>
    <value>/하둡설치경로/etc/hadoop/dfs.hosts.exclude</value>
</property>

2. NameNode의 dfs.hosts.exclude 파일을 생성 또는 편집하여 추가할 node의 hostname을 추가

vi /hadoop설치경로/etc/hadoop/dfs.hosts.exclude

3. Namonde 서버에서 node refresh 명령 수행

hdfs dfsadmin -refreshNodes

4. NameNode web으로 접속하여 node decommissioned가 완료되면 NameNode의 dfs.hosts 파일과 dfs.hosts.exclude 파일을 열어 제거한 node의 hostname을 삭제한다.

SimpleDev