이야기박스

Resource Manager의 조사로 쿠버네티스, 메소스에 이어서 YARN을 하게 되었습니다. 하둡을 가끔씩 사용하면서도 YARN의 구조를 제대로 파악하지 못하고 있었는데, 이번 기회에 공부할 수 있게 되었네요. YARN은 Hadoop2에 등장한 Resource Management, 즉 리소스 관리 플랫폼이라 할 수 있습니다. 그래서 표지도 Apache Hadoop으로 하였습니다 ㅎㅎ # 하둡 구성 먼저 하둡에 대해서 간단하게 이야기하고 넘어가야 할 것 같습니다. 하둡은 분산 환경에서 빅 데이터를 저장하고 처리할 수 있는 자바 기반의 오픈 소스 프레임 워크입니다. 정말로 많은 곳에서 사용되고 있습니다. 요새 많이 사용되고 있는 Hadoop 2.0 대표적 특징은 아래와 같습니다. HDFS(Hadoop D..

# 시작에 앞서 Mesos : A Platform for Fine-Grained Resource Sharing in the Data Center 위 논문을 참조하여 작성하였습니다. 영어에 익숙하지 않다 보니 오역이 많을 수 있습니다. 특정 개편 프로젝트에서 분산처리 과정 중, 자원 관리가 필요하여 조사를 시작하였습니다. yarn을 유력 후보로 생각하고 있지만 다른 기술들도 알아봐야 할 것 같더라고요. # Introduction In this paper, we propose Mesos, a thin resource sharing layer that enables fine-grained sharing across diverse cluster computing frameworks, by giving frame..