Google Cloud Next '19 Recap

2019.05.24 금요일, 미국 샌프란시스코에서 열렸던 Google Next'19 의 Recap 한국, 코엑스에서 열림

듣고 싶은 것 위주로 들음

# 데이터 매니지먼트 오버뷰 및 새로운 기능 소개

강연자 : 이승우, 구글 클라우드

구글 데이터 2025년까지 약 10배 이상 증가할 것으로 예상

## 관계형 데이터베이스 서비스

• 인메모리 : Cloud Memorystore
• 비관계형: Cloud Firestore, Cloud Bigtable
• 관계형 : Cloud SQL, Cloud Spanner
• 데이터 웨어하우스: BigQuery

## 데이터 매니지먼트

여러 오픈 소스 중심 기업드로가 파트너십 체결 (redis, datastax, mongoDB, elastic, influxdata 등..)

# 하이브리드 클라우드의 미래 Anthos

강연자 : 정명훈, 구글 클라우드

하이브리드 클라우드 : 퍼블릭 클라우드 + 프라이빗 클라우드

## Anthos 기술 기반 : GKE

쿠버네티스 기술 내용: 이전 포스트 참조

## Anthos란?

Anthos 기술 문서

구글 클라우드 + 온프레미스 + 타사 클라우드 : 관리할 수 있는 서비스

## 이점

• 기존 투자 보호하면서 현대화
• 적정 규모로 정책 및 보안 자동화
• 일관된 경험

## 빌딩 블록

• 개발자, Knative(Cloud run) : 서버리스 프리미티브를 사용하여 빌드, 개발, 확장
• 서비스 운영자/SRE : 서비스 연결, 보호, 관리, 모니터링
• 인프라 운영자 : 이동식 컨테이너 조정

쿠버네티스 기반이라면 어떤 환경에서 돌고 있더라도 연결 가능

## 아키텍쳐

일관된 인터페이스를 통해서 관리

## 네트워크 / 보안

여기는 스킵.. 나중에 다시 볼 것

보안은 온프레미스까지 확장됨

## 모니터링

온프레미스 환경도 스택 드라이버로 모니터링 가능

## 구성 관리

.yaml 파일에 익숙해짐. (K8s 사용하다보면)

Anthos Configuration Management 제공

--> git 기반으로 관리

## 서비스 메쉬 제공

## Knative; Cloud Run

쿠버네티스 상, 서버리스 워크로드의 빌딩 블록

함수형 서비스를 쿠버네티스에 올려줌. 기존에 비슷한 서비스 (AWS Lambda, Google Cloud Functions, Google App Engine)들과는 다르게 쿠버네티스 환경이라면, 온프레미스, 다른 클라우드 환경에서도 동작 할 수 있음. (Anthos 기반)

## Anthos Migrate

기존에 돌던 어플리케이션들을 모더나이징

VM to VM, VM to k8s 해주는 서비스

# MMORPG에서 비정상 행위를 AI로 탐지한 넷마블

강연자: 백정상 (구글 클라우드), Etsuji Nakai(구글 클라우드), 오지연 (넷마블)

## 룰 기반의 어뷰징 탐지의 단점

• 감지 가능한 어뷰저의 범위가 적음
• 새로운 패턴의 속도를 따라잡지 못함
• 자동으로 이상 패턴 감지가 필요

## 솔루션 개요

Autoencoder로 이상 감지. --> MINST 모델을 사용하여 이상 유저 감지

• 모델을 매일 재 훈련 하는 이유 : 온라인 행동이 특정 이벤트에 의하여 매일 변할 수 있음
• 수동 조사가 필요한 이유 : 오탐 방지, 어뷰징 유형에 따라 조치 결정, 룰 기반 의사결정에 대한 새로운 통찰력 확보
• 결과에 대한 근거를 위하여 피쳐 엔지니어링 도입 : 설명 가능한 피쳐를 60분 내 데이터를 집계하여 구성

현재 모델 : Stacked Denoising AutoEncoder

## GCP 사용한 머신 러닝 플랫폼

• 매니지드 서비스, API, 다양한 기능 제공
• 분산처리 및 확장성
• 표준화된 플랫폼

## 성능 ; 모델 성능

• 다양한 모델 알고리즘 탐구
• 시간 및 인적 자원 부족

해결방법 : Google과 협업 (직원들과 워크샵 + PSO 프로젝트)

## 기술 방향

• 라벨링된 데이터 수집
  • 차단된 사용자를 라벨로 사용
  • 이들을 지도 학습 용도로 활용 할 수 있는지 조사
• ML 파이프라인 개편
  • 모델 개발을 가속화하기 위해 Kubeflow 파이프라인으로 마이그레이션
• 앙상블 학습 (ensemble learning) 시도
  • 여러 모델을 결합하여 감지 능력 향상

# Cloud Spanner, 분산/관계형 DB

강연자 : 이정운 (구글 클라우드)

관계형 DB이면서 비-관계형 DB와 같은 수평 확장 지원

scale out/in 모두 지원 (항상 서비스가 잘된다/잘안된다 보장하기 어려움)

DB 원칙 CAP 모두 충족할 수 있다. (구글 입장) 

RDB (X), No-SQL(X), NEW-SQL(O) (구글 입장)

## 특징

높은 가용성 (HA-Zone 단위까지 적용)

높은 안정성

Paxos 알고리즘을 통한 리더 선출 (여러 Zone에서)

## 단점

느림

호환성 안좋음

DB내 로직 많은 경우 적합하지 않음

## 사용

DB에서 사용하던 툴 그대로 작업 가능

# Beyond the Kubernetes 

강연자 : 조병욱 (구글 클라우드)

배경 : 개발팀이 개발/운영 할 수 있도록

## Spinnaker

배포에 집중된 프러덕트

## Microservice Architecture Pattern

### Circuit breaker

에러가 발생해도 전체 클러스터를 보호할 수 있도록

--> Netflix에서 Spring으로 코드화

--> Infra layer로 내림

--> Proxy단에서 끊어버림

### Traffic Steering

트래픽 분산

## Stackdriver

Logging, Debug, Monitoring, Trace, Error Reporting

### Logging

Routing 지원, Java SDK 지원

# Stackdriver

강연자: 김태영 (베스핀 글로벌)

모니터링, 로깅, 진단을 위한 SaaS 제품군

Debugger, Logpoints 지원 : Java, Go, Node.js, .Net, Ruby, Python, PHP

Trace: 각 서비스의 데이터를 수집하여 가시화

# Compute Engine 강점

강연자: 백정상 (구글 클라우드)

## 특징

• 강력한 글로벌 네트워크 (Youtubue 때문에 인프라가 무지 강력함)
  • 해저 광케이블 --> 구글 네트워크 구성
  • 2020년 서울 리전 출시
• 글로벌 컴퓨팅 환경
  • 글로벌 로드밸런싱
    • 클라이언트와 물리적 거리가 가장 가까운 서버에 자동 분산
    • 프리워밍이 없음
  • VPC 컨트롤
• 합리적, 저렴한 가격
  • 최소 가격이 다른 클라우드에 비해 저렴
  • 지속 사용 할인 (쓰면 쓸 수록 할인)
  • Committed Use Discounts (약정 사용 할인)

## Cloud Computing 제품군

Compute Engine - Kubernetes - App Engines - Cloud Functions

## VM

• 선점형 VM : 일괄 처리
• 실시간 이전 가능 : 0.2초 이내 블랙아웃, 라이브 마이그레이션 시간대 지정 가능 (알파)
• VPC 디자인 : 다른 리전의 VPC는 퍼블릭 인터넷으로 접근
• 네트워크 처리량 : 32 Gbps

## 넥슨의 컴퓨팅 활용 사례

천애명월도 : 대만. 홍콩. 마카오 서비스

Live Migration 대규모 실행 : 게임 서비스 영향 거의 없이 진행, 실제로는 약 1초 이내 서비스 중단이 발생함 (대규모 핑 발생한 경우)