이야기박스

Problem Given a string str representing a number having N digits, the task is to calculate the number of ways to make the given number divisible by 3 by changing at most one digit of the number. 특정 정수 N이 주어집니다. 그리고 우리는 이 정수 N에서 하나의 자릿수의 숫자를 변경할 수 있습니다. 이때 변경할 수 있는 숫자 중, 3으로 나누어질 수 있는 숫자는 몇 개인지 확인해보는 문제입니다. Example 예시는 다음과 같습니다. Input: str[] = “23” Output: 7 Explanation: Below are the numbers tha..

개요 syslog를 json 형태의 구조화하고 이를 Elastic stack을 활용하여 받아보는 내용을 다루어 보려고 합니다. machine --(rsyslog)--> Nginx --> Logstash ---> Kafka rsyslog는 TCP 포트를 활용하여 받을 예정입니다. Logstash 설치 # get deb pkg wget https://artifacts.elastic.co/downloads/logstash/logstash-7.11.2-amd64.deb # install sudo dpkg -i logstash-7.11.2-amd64.deb - /etc/logstash/logstash.yml queue.type: persisted queue.max_bytes: 20gb path.queue: /da..

Problem Given a function random01Generator() that gives you randomly either 0 or 1, implement a function that utilizes this function and generate numbers between 0 and 6(both inclusive). All numbers should have same probabilities of occurrence. 먼저 0과 1을 생성하는 랜덤 함수가 주어집니다. 이제 우리는 위에 주어진 함수를 통하여 주어진 값 이하의 랜덤 숫자를 반환하는 함수를 만들어보면 됩니다. 주어진 문제에서는 6이라는 값이 Input으로 주어졌습니다. 하지만 우리는 6을 넘어서 INT_MAX 값까지 동작하는 ..

쿠버네티스의 가장 큰 강점은 사용자가 신경 쓰지 않아도 지정된 클러스터에 자동으로 리소스가 나누어지는 것에 있죠. 하지만 특정 워커 노드, 집단에 배포되면 안될때, 어떻게 하면 될까요? 쿠버네티스에서는 위 문제를 두 가지 관점에서 풀려고 하였습니다. 노드 관점에서 받아들일 파드 정하기 - Node Taint, Pod Toleration 두 정책을 바탕으로 해결하고자 하였습니다. 파드 관점에서 들어갈 노드 정하기 - Node Affinity를 통하여 파드의 배포를 관리자가 조율할 수 있도록 합니다. # 노드 관점; Node Taint, Pod Toleration ## Taint ; Node 설정 Master 노드에서 테인트 확인 가능합니다. $ kubectl describe node master.k8s N..

이번 포스팅에서는 hive의 메타스토어 2버전 설치를 진행해보려고 합니다. 이전 포스팅인 hive metastore 3버전 설치와 방법은 유사하지만 2 버전에서는 standalone 바이너리 제공을 하지 않기 때문에, 하이브 바이너리를 설치하고 메타스토어를 실행하여야 합니다. Hadoop 시리즈. Hive metastore 3버전 설치 이번 포스팅에서는 hive3 버전의 메타스토어를 단독으로 실행하는 내용을 다루어보았습니다. 하이브를 생성하는 테스트는 다음 포스팅에 진행하고 이번 포스팅은 설치에 집중해보려고 합니다. h box0830.tistory.com Step 1. 준비 # jdk 설치 sudo apt-get install openjdk-8-jdk -y # hive binary 'https://hiv..

이번 포스팅에서는 hive metastore 3 버전을 단독으로 실행하는 내용을 다루어보았습니다. 하이브를 생성하는 테스트는 다음 포스팅에 진행하고 이번 포스팅은 설치에 집중해보려고 합니다. hive metastore 2버전의 설치는 아래 포스팅을 참고해주시기 바랍니다. https://box0830.tistory.com/366 Hadoop 시리즈. Hive metastore 2버전 설치 이번 포스팅에서는 hive의 메타스토어 2버전 설치를 진행해보려고 합니다. 이전 포스팅인 hive metastore 3버전 설치와 방법은 유사하지만 2 버전에서는 standalone 바이너리 제공을 하지 않기 때문에, box0830.tistory.com Step 1. 준비 # jdk 설치 sudo apt-get insta..

Hadoop 시리즈. Yarn 구성해보기 Hadoop 시리즈. Hadoop3 설치하기 - 기본 설치 이전 포스팅에서 하둡, 특히 HDFS란 무엇인가에 대해서 가볍게 알아보았다면, 이번에는 직접 설치해여 몸으로 하둡을 겪어보려고 합니다. Hadoop 시리즈. H box0830.tistory.com 지난번에 설치하였던 Yarn에 이어서 하둡 클러스터에 스파크를 구성하는 포스팅을 다루어보겠습니다. Step 1. Spark Install Downloads | Apache Spark Download Apache Spark™ Choose a Spark release: Choose a package type: Download Spark: Verify this release using the and project re..

Hadoop 시리즈. Hadoop3 설치하기 - 기본 설치 이전 포스팅에서 하둡, 특히 HDFS란 무엇인가에 대해서 가볍게 알아보았다면, 이번에는 직접 설치해여 몸으로 하둡을 겪어보려고 합니다. Hadoop 시리즈. HDFS 맛보기 하둡 분산형 파일 시스템 (HDFS; box0830.tistory.com 위 포스팅에 이어서 Yarn을 설치해보도록 하겠습니다. 노드 역할 Yarn story-hadoop-master01 Active Namenode Resource Manager story-hadoop-master02 Standby Namenode Resource Manager (history, timeline) story-hadoop-master03 Observer Namenode story-hadoop-w..