[AWS] Kinesis

 

Kinesis Data Streams

: 빅데이터를 시스템에 스트리밍 하는 리소스

 

Kinesis Data Streams

- 번호가 여러 개인 샤드(Shard)로 구성됨 (샤드는 사전에 프로비저닝 되있음)

 

- 생산자(Application, Client, SDK, KPL, Kinesis Agent등)이 Kinesis Data Streams에 데이터를 보냄

- SDK에 의한 Records 생성

 

Record는 파티션 키와, Data Blob(1MB)으로 구성

- 샤드당 1MB/sec, 1,000MPS(msg/sec)로 데이터 전송

 

- 소비자(Application, Lambda, Kinesis Data Firehose, Kinesis Data Analystics)

- 소비자는 레코드를 수신할 때, 파티션 키와 시퀀스 키, 데이터 블롭를 받음

-  Kinesis Data Streams의 소비모드에서는 처리량이 샤드당 2MB/sec

 

 

Kinesis Data Streams 속성

- 보유기간(Retention) 1~365일

- 데이터를 재처리 할 수 있는 능력을 의미

- Immutability :  Kinesis Data Streams에 데이터가 삽입되면 삭제 불가

- Kinesis Data Stream으로 데이터를 보내면 파티션 키 추가됨, 동일한 파티션 키를 갖는 샤드로 이동

- 생산자는 AWS SDK, KPL, Kinesis Agent를 이용해 데이터 전송

- 소비자는 KCL(Kinesis Client Library), AWS SDK를 직접작성

 

 

Kinesis Data Streams  용량 모드

기록 용량 모드(Provisioned Mode)

- 용량이 계획 가능할 때

- 몇 개의 프로비저닝된 샤드를 선택 후 수동 or API를 이용해 확장

 

온디맨드 모드(On-Demand Mode)

- 용량 기획 어려울 때 사용

- 프로비저닝 or 관리가 필요 없음

- 디폴트 용량 4MB/s, 4,000 Records/sec

- 30일간의 피크 평균량을 통해 Auto-scaling 수행

- 데이터 입출력 GB당 요금 청구

 

 

 

 

 

Kinesis Data Streams  보안

- IAM 통한 샤드 접근 제어

- HTTPS, KMS 이용한 전송 중암호화

- VPC Endpoint

- CloudTrail을 활용한 API 접근 제어