[Apache Hadoop] 데이터 노드 추가/제거 방법

---

◾ DataNode 추가

1. NameNode의 hosts 파일에 추가할 DataNode 정보 (ip, host) 추가

vi /etc/hosts

 

2. NameNode의 includes 파일을 생성 또는 편집하여 추가할 node의 hostname을 추가

vi /hadoop설치경로/etc/hadoop/dfs.hosts

 

3. 추가한 서버 접속 후 노드 실행

hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager

 

4. Namonde 서버에서 node refresh 명령 수행

hdfs dfsadmin -refreshNodes

 

◾ DataNode 제거

1. $HADOOP_HOME/etc/hadoop/hdfs.site.xml 파일에 아래 내용 추가

<property>
    <name>dfs.hosts.exclude</name>
    <value>/하둡설치경로/etc/hadoop/dfs.hosts.exclude</value>
</property>

 

2. NameNode의 dfs.hosts.exclude 파일을 생성 또는 편집하여 추가할 node의 hostname을 추가

vi /hadoop설치경로/etc/hadoop/dfs.hosts.exclude

 

3. Namonde 서버에서 node refresh 명령 수행

hdfs dfsadmin -refreshNodes

 

4. NameNode web으로 접속하여 node decommissioned가 완료되면 NameNode의 dfs.hosts 파일과 dfs.hosts.exclude 파일을 열어 제거한 node의 hostname을 삭제한다.