이야기박스

AWS Data Roadshow 2023AWS Data Roadshow 2023pages.awscloud.com SessionsFrom Insights to Action, How to build and maintain a Data Driven OrganizationAmazon Redshift Deep Dive - Serverless, Streaming, ML, Auto Copy (New features)Amazon OpenSearch - Use Cases, Security/Observability, Serverless and EnhancemAmazon EMR - Enhancements on Cost/Performance, ServerlessDemystify Streaming on AWS From Insi..

# 개요 AWS Glue 작업을 하면서 추가적으로 사용했던 서비스들을 간략하게 정리하기 위한 포스팅입니다. AWS Athena는 S3에 적재된 Parquet를 읽기 위하여 사용하였고 AWS SNS는 Glue에서 ETL 작업 도중, 에러가 발생하면 알람을 받기 위하여 구성하였습니다. # AWS SNS ; Amazon Simple Notification Service AWS의 메시징 서비스 중 하나입니다. 문서를 보니 Scale In/Out도 자동으로 지원하는 듯하네요. 사용방법은 더욱 간단합니다. ## IAM Role 설정 우선 Trust Relationships에 SNS.amazonaws.com 등록이 필요합니다. 이후, AWS SNS 토픽을 생성하려면 다음과 같은 권한들이 필요합니다. SNS Publi..

AWS Glue 이론 포스팅 이후 벌써 반년이 지났네요. 글루가 나온 지 얼마 안 된 상품이어서 그런지 반년 사이에도 많은 업데이트가 있더라고요.. (파이썬 3 지원, 워크 플로우 지원, Continuous logging 지원 등) 워낙 내용이 방대하다보니 모든 내용을 담기가 어렵더라고요. 그러다 보니 제가 겪었던 경험들을 토대로 포스팅을 진행하려고 합니다. 다만, 업데이트가 잦다보니 실제 사용하실 때 현재 포스팅과 실제 내용이 다를 수 있다는 점 참조하시면 좋을 것 같습니다. # Glue Job 동작 ## 스크립트 구성 Glue는 AWS에서 제공하는 스파크 기반의 ETL 서비스입니다. 우리는 Spark 기반의 스크립트를 작성하여 Glue Job을 이용할 수 있습니다. AWS Glue에서는 GlueCon..