학문
하둡 시스템 사이즈 산정 예제 해설 부탁드립니다.
원천데이터 1GB, 3벌 복제, 압축적용 안함, 64-128Mb 데이터 분할저장
위 조건에서 시스템 용량 산출 방식과 고려사항을 이해할수있도록 도와주세요!
3개의 답변이 있어요!
안녕하세요. 김민규 전문가입니다.
HDFS 총 저장 용량 64Mb 또는 128Mb 블록 크기 기준 모두 3,072Mb 의 용량이 필요하다고 계산이 되기 때문에 약 3GB 의 용량이 필요합니다.
안녕하세요. 조일현 전문가입니다.
관련 산정 공식은 원천 데이터 크기 x 복제 본 수 입니다.
이에 따라 블록 개수는 64-128Mb = 16 개 8개 입니다.
복제본이 3벌이니 실제 저장 공간은 원천 데이트 크기 3배 이므로 3GB
안녕하세요. 서종현 전문가입니다.
주어진 조건에서 필요한 데이터 저장 용량은 원본 데이터 크기 * 복제 횟수로 계산합니다.
원본 데이터 1GB를 3벌 복제하므로 필요한 공간은 1GB*3 = 3GB입니다.
고려사항 :
복제횟수(3) : 데이터 안전성을 위해 복제하는 만큼 용량이 증가합니다.
압축(안함) : 압축을 사용하지 않으므로 원본 크기 그대로 계산합니다. 압축시 용량은 줄어듭니다.
데이터 분할(64-128MB) : 데이터를 나누어 저장하는 방식이며, 전체 복제된 총 저장 용량 자체에는 직접 영향을 주지 않습니다.
3GB는 순수 데이터 공간이며, 운영체제나 하둡 자체 파일 등이 차지하는공간은 별도로 고려해야 합니다.