이야기박스

오늘은 Dataproc에 대해서 간단하게만 정리를 해보도록 하겠습니다. 예전부터 오랫동안 사용해왔었는데, 늘 미루다 이제야 짧게나마 적어두네요. Dataproc이란? GCP에서 제공하는 Managed Hadoop 서비스입니다. Dataproc의 과금 vCPU 수와 실행시간에 따라 과금을 부과합니다. https://cloud.google.com/dataproc/?hl=ko&skip_cache=false#section-10 지원 버전 Hadoop 3.2.2까지 지원이 되고, 기타 하둡 생태계는 3.1.2 버전으로 지원이 되고 있네요. (2022년 05월 기준) https://cloud.google.com/dataproc/docs/concepts/versioning/dataproc-release-2.0?hl=..

# 개요 App Engine은 완전 관리형 서버리스 애플리케이션 플랫폼이라고 합니다. 해당 플랫폼에서 애플리케이션 빌드, 배포하기 때문에 인프라 관리, 배포 구성, 서버 관리 등을 할 필요가 없습니다. 이로부터 개발자의 높은 생산성을 이끌어냅니다. ## 언어 & 도구 자바, PHP, Node.js, Python, C#, .Net, Ruby, Go 등 다양한 언어, 프레임워크를 지원합니다. 또한 IntelliJ, Visual Studio 등 인기 개발 도구를 사용하여 실행도 가능합니다. ## 코드만 추가 인프라 관리 걱정 없이 코드 개발에만 집중할 수 있습니다. 방화벽, IAM, SSL/TLS 인증서 기능을 사용하여 보안을 쉽게 다룰 수 있습니다. ## 비용 사용한 만큼만 지불하면 되는 구조입니다. 트래픽..

2019.05.24 금요일, 미국 샌프란시스코에서 열렸던 Google Next'19 의 Recap 한국, 코엑스에서 열림 듣고 싶은 것 위주로 들음 # 데이터 매니지먼트 오버뷰 및 새로운 기능 소개 강연자 : 이승우, 구글 클라우드 구글 데이터 2025년까지 약 10배 이상 증가할 것으로 예상 ## 관계형 데이터베이스 서비스 인메모리 : Cloud Memorystore 비관계형: Cloud Firestore, Cloud Bigtable 관계형 : Cloud SQL, Cloud Spanner 데이터 웨어하우스: BigQuery ## 데이터 매니지먼트 여러 오픈 소스 중심 기업드로가 파트너십 체결 (redis, datastax, mongoDB, elastic, influxdata 등..) # 하이브리드 클라..

App Engine에서 Cloud Pub/Sub으로 메시지 전송이 필요하다 보니 기술조사를 시작하게 되었습니다. 카프카와 유사한 점이 많다고 하는데, 제가 카프카를 잘 몰라서 비교를 하지 못했습니다. 다음에 카프카도 공부하여 포스팅할 수 있도록 하겠습니다. 포스팅 내용은 Google 공식 문서를 참조하였습니다. # 개요 Cloud Pub/Sub을 이용하면 전송자와 수신자를 분리하는 다대다 비동기식 메시지 서비스를 제공하기 때문에 독립적으로 작성한 애플리케이션 간의 안전하고 가용성 높은 통신이 가능합니다. 마이크로서비스를 위한 서비스라 생각하면 될 것 같습니다. 동작 방식은 단순합니다. 게시자(Publisher) 애플리케이션이 메시지를 만들어 주제(Topic)로 전달합니다. 구독자(Subscriber) 애..

App Engine을 사용하면서 로드 밸런서가 어떻게 동작하는지 궁금해지더라구요. 그래서 네트워크 앞단의 Forwarding이 어떤 방식으로 움직이는지 정리해보았습니다. 참조: Using Forwarding Rules | Load Balancing # External Forwarding Rules 외부 포워딩 규칙은 다음과 같은 GCP LB에 적용되고 있습니다. HTTP(S) load balancers SSL proxy load balancers TCP proxy load balancers Network load balancers 제가 App Engine에서 사용한 로드 밸런서는 HTTP(S) Load Balancer이므로 이를 중점으로 확인해보도록 하겠습니다. # HTTPS load balancers ..

업무에 급하게 사용할 일이 생겨서 기술조사를 시작하게 되었습니다. AWS Lambda와 비슷한 솔루션이라고 하네요. 이 솔루션을 선택하게 된 이유는 Serverless이면서 Auto Scale out이 지원되며, 또한 제 프로그램의 Business Logic이 복잡하지 않았기 때문에 선택하게 되었습니다. 2019-05-03 기준, 아직 정식오픈은 되지 않았고 베타 서비스가 진행중입니다. 해당 포스트는 이 날짜 기준의 문서 데이터로 작성되었음을 미리 알려드립니다. 참조 : Google Cloud Function Doc # 개요 ## 특징 클라우드에서 코드를 실행하는 가장 간편한 방법 자동 확장, 우수한 가용성, 내결함성 프로비저닝, 관리, 패치 또는 업데이트가 필요한 서버 없음 코드를 실행하는 만큼만 지불..

# Creating a launch checklist # Launch automation # Deployment Manager # Monitoring # Push-based and pull-based metrics # GCP Stackdriver unifies the tools - monitoring - logging - error reporting - trace - debugger # StackDriver를 통해 AWS 프로젝트 모니터링도 가능

# Capacity Planning Cycle # Persistent disk estimation # Network capacity estimation # Workload estimation * Perfkit Benchmarker --> open source benchmarking tool http://googlecloudplatform.github.io/PerfKitBenchmarker/ PerfKitBenchmarker Copyright © PerfKit Benchmarker Authors 2015-2016 googlecloudplatform.github.io # Optimizing VM cost https://cloud.google.com/compute/pricing#predefined_machin..