이야기박스

Elasticsearch에서 대량의 문서를 조회하려고 하였는데, 최대 10,000건 이상의 문서는 조회되지 않는 현상이 발생하였습니다. 오늘은 Elasticsearch의 Java 라이브러리를 이용하여 10,000건 이상의 로그를 조회하는 방법을 포스팅해보려고 합니다. 원인 ES에서의 설정 값 'index.max_result_window'(default 10,000건) 만큼의 결과만 hits으로 노출되고 있었습니다. 해결 방안 1. index.max_result_window 값 증가 2. Scroll API 3. Search After 1번은 근본적인 해결 방안이 아니기 때문에 제외하고, 나머지 2-3번 방법을 위주로 조사해보았습니다. 마침 공식 문서 가보니, Scroll API가 아닌 Search Aft..

gRPC는 java로만 개발을 해봤었는데, 이번에 go로도 사용할 기회가 생겨 테스트 코드 진행 겸 포스트를 남겨봅니다. 이번 포스팅은 아래의 gRPC 공식 문서의 Quick start를 바탕으로 작성되었습니다. Quick start This guide gets you started with gRPC in Go with a simple working example. grpc.io 사전 준비 우선 protocol buffer 파일을 이용하여 코드를 생성하기 위해 아래 라이브러리를 설치합니다. go install google.golang.org/protobuf/cmd/protoc-gen-go@v1.28 go install google.golang.org/grpc/cmd/protoc-gen-go-grpc@v1..

작성중인 문서입니다. 올해 태어나서 처음으로 스팀의 도전과제를 해보기 시작했습니다. 근데 만만치가 않네요.. ㅎㅎ 현재 하츠오브아이언4의 스팀 도전과제 달성률은 36% 입니다. 올해 안에 70% 이상 하는게 목표인데, 할 수 있을지 모르겠군요. ㅎㅎ 아래에 가볍게 제가 클리어했던 도전과제들 기억나는대로 리뷰하도록 하겠습니다. Friend in Need 어떤 세력에든 들어가면 클리어됩니다. 기본적으로 하츠오브아이언4의 도전과제 난이도들은 높은 편이지만, 이처럼 기본 튜토리얼 같은 도전과제들도 있습니다. Time is on our side 이 것도 튜토리얼 급 과제입니다. 그냥 1948년까지 살아만 있으면 됩니다. 저는 포루투칼로 실행하고 티비 보고 왔더니 깨졌습니다. Canada First 캐나다로 추축국..

게임이 급박한 상황임에도 침착하게 하나씩 자기 플레이를 하는 사람들이 있다. 그리고 보통 이런 사람들이 게임을 잘하곤 한다. 인생도 비슷한 것 같다. 빠르게 흘러가는 세상 속에서 냉철하게 자신을 바라보는 사람이 성공하는 것 같다. 중요한 결정들을 앞두게 되면 나는 늘 마음이 조급해진다. 괜히 심장이 두근대는 것 같다. 손과 발이 차갑게 식으면서 떨리기까지 한다. 누군가 재촉하는 사람이 없는데도 스스로를 재촉하곤 한다. 늘 "천천히.. 천천히.."를 되네이지만, 마음은 여전히 조급하다.

Problem Given a number, find the next smallest palindrome larger than this number. For example, if the input number is “2 3 5 4 5”, the output should be “2 3 6 3 2”. And if the input number is “9 9 9”, the output should be “1 0 0 1”. The input is assumed to be an array. Every entry in array represents a digit in input number. Let the array be ‘num[]’ and size of array be ‘n’ Example There can be..

이번 포스팅에서는 Spark Streaming과 Flink Streaming의 차이점에 대해서 가볍게 살펴보려고 합니다. Streaming이란? 우선 스트리밍에 대해서 간단하게 집고 가려고 합니다. 일반적으로 사용되는 스트리밍은 크게 두 가지로 나눌 수 있습니다. micro-batch streaming vs native streaming 마이크로 배치 방식은 사실은 배치 프로세스입니다. 하지만 배치 간격을 아주 짧게 잡아 실시간처럼 처리하는 것이죠. 그리고 네이티브 스트리밍이 우리가 직관적으로 알고 있는 이벤트 기반 실시간 처리 방법입니다. 비교 스파크 스트리밍은 마이크로 배치 방식을 사용하고 있고 플링크는 네이티브 스트리밍 방식을 사용하고 있습니다. 즉, 두 기술의 큰 차이점들은 각 스트리밍 방식의 차..

Problem Given a number n, print all primes smaller than or equal to n. It is also given that n is a small number. 정수 N이 주어집니다. 이 정수 N보다 작은 모든 소수를 찾으면 됩니다. Example Input : n =10 Output : 2 3 5 7 Input : n = 20 Output: 2 3 5 7 11 13 17 19 Approach 우선 소수에 대하여 다시 짚고 넘어가 보려 합니다. 소수란 자기 자신과 1 이외에는 다른 약수가 없는 수를 의미합니다. 그러면 우리는 어떤 수가 소수인지 아닌지 어떻게 알 수 있을까요? 모든 수에 대해서 한 번씩 나눠보면 될까요? 너무 비효율적인 방법입니다. 우리는 에라토..

최근 몇년 전에 Hadoop3가 출시되면서 Hive 및 Metastore의 IDL에도 변화가 생겼습니다. 기본적으로 과거 서비스에 대한 호환성을 제공해 주었겠지만, 직접 테스트해보며 눈으로 확인해보고자 이번 포스팅을 준비하였습니다. 테스트 개요 테스트는 두 개 버전(2.3.2, 3.1.2)의 Hive Server, Metastore로 진행하였습니다. 화살표처럼 총 4가지의 연결을 시도할 예정입니다. 테스트 명령으로 Create Database / Table을 시도할 예정이고, Show가 되는지 확인, 그리고 테이블에 간단한 Insert를 진행해볼 예정입니다. 결론 예상했던 것 처럼 비교적 최신 버전(3.1.2)의 Metastore에서는 하위 버전의 Hive Server(2.3.2)의 호환이 가능하였지만,..