[Hadoop] Erasure Coding 적용 방법

---

이레이저 코딩 (Erasure Coding)

• 스토리지에서 데이터 저장공간의 효율성을 위해 설계된 데이터 복제방식
• 이레이저 코딩은 이레이저 코드(Erasure Code)를 이용하여 데이터를 인코딩하고, 데이터 손실시 디코딩 과정을 거쳐 원본 데이터를 복구하는 데이터 복구 기법중 하나
• 데이터 손실시 복구할 수 있는 기법일뿐 데이터 백업을 대체하는 방식이 아니라는 것에 주의
• 이레이저 코딩 처리 과정
  • 데이터 원본을 n등분하여 나눔 > 연산과정(인코딩)을 통해 k개 패리티 생성 > (일부 데이터 손실) > n개의 데이터로 디코딩을 통해 원본 복구

HDFS Erasure Coding

• HDFS : 하나의 파일을 N개의 블록으로 분산 저장하는 파일 시스템
• Fualt-tolerance : 하나의 파일을 이루고 있는 N개의 블록 중 몇개가 유실되더라도 파일의 접근성을 보장하고 복구할 수 있는 기능
• 2.x 버전 : 각각 다른 디스크에 3개의 블록을 만들어 보관 (파일 1개를 저장하는 데 3배의 용량을 필요)
• 3.x 버전 : Erasure Coding은 파일을 N개 블록으로 나누면서 N의 절반인 M개의 Parity 블록을 생성하여 Fault-tolerance를 보장
• Raid에서 주로 사용하는 Reed-Solomon 알고리즘 사용

 

1. ec policy 리스트 확인

hdfs ec -listPolicies

 

2. policy enable

hdfs ec -enablePolicy -policy RS-6-3-1024k

 

3. 특정 path에 policy 적용

hdfs ec -setPolicy -path [path] -policy RS-6-3-1024k

 

참조) 적용된 path에 erasur coding 제거 (policy제거)

hdfs ec -unsetPolicy -path [path]

 

4. 적용된 ec policy 확인

hdfs ec -getPolicy -path [path]