목록빅데이터인프라 (1)
이야기박스
Pipeline SDK (Apache Beam & Cloud Dataflow)
Pipeline이란?한 데이터 처리 단계의 출력이 다음 단계의 입력으로 이어지는 형태로 연결된 구조를 말합니다. (wiki)Google Cloud Dataflow == Apache Beam Pipeline 은 서로 동일한 솔루션이라고 하네요. Cloud Dataflow란? 스트리밍 및 배치 처리를 지원하는 오토 스케일링 데이터 파이프라인입니다.장점- 데이터 변경을 각각의 파이프로 구성 가능- auto scailing 지원- 서버리스 서비스- 기타 gcp 서비스들과 손쉬운 연동지원 언어 - Java SDK- Python SDK- Go SDK기본 파이프라인기본적으로 선형 작업이 이루어지지만, 여러 입력 소스, 여러 출력 소스를 통하여 방향성 비순환 그래프를 이룰 수도 있습니다.- Pipeline I/O : ..
Computer & Data/Big Data
2018. 10. 10. 17:01