이야기박스

https://www.youtube.com/watch?v=CZLrIMcNGn4&list=PLAgSm9SeNf3PCzFm7Hx9FZNeYlx9NkD6t

1. Write it just one sentence, every week 2. Studying with grammer 3. Summarize any blog posting or book 4. Speak with correct pronunciation

Flume 실행 과정에서 다음과 같은 Warn 로그가 발생하여서 기록을 남겨둡니다. No configuration found for this host:a1 # 원인 문제의 원인은 Flume은 아래와 같은 커맨드를 통하여 실행하게 되는데, 실행 시 지정하는 agent와 configuration에 설정된 agent 이름이 다른 경우 위와 같은 Warn 메시지가 출력 되게 됩니다. /usr/lib/flume/bin/flume-ng a1 -n a1 # config file agent.sources=exec-source agent.sinks=hdfs-sink agent.channels=ch1 # 조치 위 같은 케이스에서 네이밍 규칙으로 Agent 이름을 맞추어 주면 해결됩니다. /usr/lib/flume/bin/..

# 개요 소프트웨어 개발자라면 누구나 사용해 보았을 로드밸런서, 그리고 로드밸런서를 지나쳐 온 요청에서 Client IP를 구하는 내용을 포스팅으로 정리해보겠습니다. 인프라 전문가가 아닌, 이용자의 시선에서 포스팅을 작성하였고 예제로 사용된 코드는 자바 언어를 사용하고 있지만 수도 코드에 가깝습니다. # 로드밸런서란? 서버 부하 분산을 위해 사용하는 것 대부분 L7 로드밸런서를 사용하지만 이전에는 L4를 많이 사용하였다고 합니다. 여기서 L7/L4는 OSI Layer를 의미합니다. OSI Layer가 궁금하시다면 이야기박스의 OSI 7 Layer 포스팅을 참고 해주세요~ L4와 L7은 모두 IP와 Port를 이용하여 로드 밸런싱을 하지만 L7 로드밸런서에서는 추가적으로 패킷의 정보를 이용한다고 합니다. ..

gsutil로 GCS 경로 이동하면서 생겼던 일들을 짧은 포스팅으로 담아 보려고 합니다. # 목적 gs://storyparks_bucket/dir_a 라는 경로의 폴더를 gs://storyparks_bucket/dir_b 로 옮기자! 즉, 폴더 이름을 변경 혹은 dir_a의 파일들을 dir_b로 옮기는 것이 되겠네요 # Solution 1. mv 명령어 사용 hdfs 명령어에서는 mv에 wildcard(*)를 사용하여 다음과 같이 손쉽게 파일들을 옮길 수 있었습니다. hdfs dfs -mv hdfs://storyparks_datalake/dir_a/* hdfs://storyparks_datalake/dir_b/ 하지만 gsutil에서는 mv 명령어에 wildcard(*) 사용이 불가능 하더라고요! gsu..

에러 로그 Expiring 1 record(s) for {topic-partition}: 5005 ms has passed since b atch creation plus linger time Linger time이란? # linger.ms The producer groups together any records that arrive in between request transmissions into a single batched request. Normally this occurs only under load when records arrive faster than they can be sent out. However in some circumstances the client may want to re..

netty 서버에 TLS 인증서 세팅을 하는 과정에서 다음 에러가 발생한 적이 있습니다. Caused by: java.security.spec.InvalidKeySpecException: java.security.InvalidKeyException: IOException : algid parse error, not a sequence at sun.security.ec.ECKeyFactory.engineGeneratePrivate(ECKeyFactory.java:169) at java.security.KeyFactory.generatePrivate(KeyFactory.java:372) at io.netty.handler.ssl.SslContext.getPrivateKeyFromByteBuffer(SslCo..

특정 프로세스가 해당 파일을 계속 열고 있어서 그럼 lsof (리눅스 오픈 파일) 명령어로 찾은 다음에, kill 해주면 됨 sudo lsof | grep delete|grep ${process key} | awk '{ print $2 }' | xargs kill -9