이야기박스

이번에는 지난 하둡 설치 포스팅에 이어서 하둡3의 새로운 기능, 옵저버 노드에 대한 포스팅을 다루어보도록 하겠습니다. Observer Namenode? HA 구성된 하둡 네임노드를 보면, 하나의 Active Namenode, 그리고 하나 이상의 Standby Namenode로 구성되게 됩니다. 하지만 Standby Namenode는 직접적인 하둡의 읽기/쓰기 요청을 처리해주지 않기 때문에, Active Namenode 혼자서 독박을 쓰게 됩니다. 규모가 큰 클러스터 일 수록, 오버헤드가 크겠죠. Observer Namenode는 여기서 Active Namenode의 읽기 요청에 부담을 덜어주게 됩니다. Active Namenode와 마찬가지로 읽기에 사용될 블록의 위치 정보를 가지고 읽기 요청을 함께 처..

이전 포스팅에서 하둡, 특히 HDFS란 무엇인가에 대해서 가볍게 알아보았다면, 이번에는 직접 설치해여 몸으로 하둡을 겪어보려고 합니다. Hadoop 시리즈. HDFS 맛보기 하둡 분산형 파일 시스템 (HDFS; Hadoop Distributed File System) HDFS는 대용량 파일을 저장하고 처리하기 위해서 개발된 소프트웨어입니다. 이는 하나의 서버에서만 동작하는 것이 아니라, 다수의 서버에 box0830.tistory.com 포스팅을 구성하면서 어떤 하둡을 설치해볼지 고민을 많이 했었습니다. CDH? HDP? 여러 고민을 하다가 기초 학습을 위해서 오픈소스로 나와있는 Apache Hadoop을 설치해보기로 결정하였습니다. 특히, 최근에 화두로 떠오르고 있는 Hadoop3을 설치해보기로 하였습니..

주키퍼의 간단한 설치 과정을 정리한 포스팅입니다. 설치 wget downloads.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz 압축 해제 # 압축 해제 sudo tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz -C /opt # 권한 sudo chown -R deploy. /opt/apache-zookeeper-3.6.3-bin/ # symbolic link sudo ln -s /opt/apache-zookeeper-3.6.3-bin/ /opt/zookeeper sudo chown -R deploy. /opt/zookeeper 경로 생성 # 로그 sudo mkdir -p /var/log/zook..

# 개요 지난번 포스팅처럼 Guava 라이브러리 이슈가 발생하여 기록을 남깁니다. 이번에는 Exclude로 충돌되는 패키지를 제외시키는 방법이 아닌, re-packaging 방식을 사용하는 포스팅을 구성하였습니다. Maven: NoSuchMethodError. Guava 라이브러리 충돌 # 개요 maven을 통한 개발을 진행하는 도중 아래와 같은 에러로그가 발생하였습니다. java.lang.NoSuchMethodError: com.google.common.io.ByteStreams.exhaust(Ljava/io/InputStream;)J 알아보니 위 패키지는 gu.. box0830.tistory.com # 에러 로그 Exception in thread "main" java.lang.NoSuchMethod..

Resource Manager의 조사로 쿠버네티스, 메소스에 이어서 YARN을 하게 되었습니다. 하둡을 가끔씩 사용하면서도 YARN의 구조를 제대로 파악하지 못하고 있었는데, 이번 기회에 공부할 수 있게 되었네요. YARN은 Hadoop2에 등장한 Resource Management, 즉 리소스 관리 플랫폼이라 할 수 있습니다. 그래서 표지도 Apache Hadoop으로 하였습니다 ㅎㅎ # 하둡 구성 먼저 하둡에 대해서 간단하게 이야기하고 넘어가야 할 것 같습니다. 하둡은 분산 환경에서 빅 데이터를 저장하고 처리할 수 있는 자바 기반의 오픈 소스 프레임 워크입니다. 정말로 많은 곳에서 사용되고 있습니다. 요새 많이 사용되고 있는 Hadoop 2.0 대표적 특징은 아래와 같습니다. HDFS(Hadoop D..