이야기박스

공식 문서를 번역(구글 번역기)하고 정리 하였습니다.IntroductionDisruptor의 목적동일 프로세스 내, 스레드 간의 데이터(메시지, 이벤트 등..)를 이동시키는 것 일반적으로 Java의 BlockingQueue와 유사하지만 다음과 같은 차이가 있습니다.Multicast events to consumers, with consumer dependency graph.Pre-allocate memory for events.Optionally lock-free. Core ConceptsDisruptor를 이해하기 위해, 여기서 사용되는 용어를 정리해보았습니다. Ring Buffer이런 형식의 버퍼입니다. 버퍼 크기는 제한이 있지만, 무한 순환이 가능한 구조입니다.Disruptor의 핵심이었지만, 3...

Pipeline이란?한 데이터 처리 단계의 출력이 다음 단계의 입력으로 이어지는 형태로 연결된 구조를 말합니다. (wiki)Google Cloud Dataflow == Apache Beam Pipeline 은 서로 동일한 솔루션이라고 하네요. Cloud Dataflow란? 스트리밍 및 배치 처리를 지원하는 오토 스케일링 데이터 파이프라인입니다.장점- 데이터 변경을 각각의 파이프로 구성 가능- auto scailing 지원- 서버리스 서비스- 기타 gcp 서비스들과 손쉬운 연동지원 언어 - Java SDK- Python SDK- Go SDK기본 파이프라인기본적으로 선형 작업이 이루어지지만, 여러 입력 소스, 여러 출력 소스를 통하여 방향성 비순환 그래프를 이룰 수도 있습니다.- Pipeline I/O : ..

- 이론- maven 구현 방식