Hadoop. Namenode heap 메모리에 관하여..

네임노드의 힙 메모리 용량은 어떤 기준으로 산정하면 될까?

클러스터 데이터의 전체 용량? 혹은 파일 개수? 

 

저 같은 하둡 초보들에겐 어려운 질문인 것 같습니다.

결론부터 빠르게 말하자면 파일 갯수를 근거로 힙  메모리를 산정하면 된다고 합니다.

 

Active Namenode는 블록의 위치 정보들을 관리하고 이를 토대로 읽기/쓰기 요청을 처리합니다.

파일 갯수가 많아진다면 블록의 개수도 많아질 테고, 결국 필요 메모리 크기가 늘어나게 되는 것 같습니다.

 

아래는 클라우데라에서 제공하는 파일 개수별 메모리 권장 사항입니다.

Number of Files , in Millions	Total Java Heap (Xmx and Xms)	Young Generation Size (-XX:NewSize -XX:MaxNewSize)
< 1 million files	1126m	128m
1-5 million files	3379m	512m
5-10	5913m	768m
10-20	10982m	1280m
20-30	16332m	2048m
30-40	21401m	2560m
40-50	26752m	3072m
50-70	36889m	4352m
70-100	52659m	6144m
100-125	65612m	7680m
125-150	78566m	8960m
150-200	104473m	8960m

 

참고

Configuring NameNode Heap Size - Hortonworks Data Platform