목록ETL (1)
이야기박스
AWS Glue 실전
AWS Glue 이론 포스팅 이후 벌써 반년이 지났네요. 글루가 나온 지 얼마 안 된 상품이어서 그런지 반년 사이에도 많은 업데이트가 있더라고요.. (파이썬 3 지원, 워크 플로우 지원, Continuous logging 지원 등) 워낙 내용이 방대하다보니 모든 내용을 담기가 어렵더라고요. 그러다 보니 제가 겪었던 경험들을 토대로 포스팅을 진행하려고 합니다. 다만, 업데이트가 잦다보니 실제 사용하실 때 현재 포스팅과 실제 내용이 다를 수 있다는 점 참조하시면 좋을 것 같습니다. # Glue Job 동작 ## 스크립트 구성 Glue는 AWS에서 제공하는 스파크 기반의 ETL 서비스입니다. 우리는 Spark 기반의 스크립트를 작성하여 Glue Job을 이용할 수 있습니다. AWS Glue에서는 GlueCon..
Computer & Data/Cloud Platform
2019. 8. 13. 18:16