2.4 스트림 (Stream) 처리 - practical-data-pipeline

practical-data-pipeline

Search…

Practical Data Pipeline

시작 전에 드리는 당부의 말

01 - 데이터 인프라

1.1 데이터 파이프라인

1.2 데이터 입수 (Ingestion)

1.2 데이터 가공 (Processing)

1.3 데이터 저장 (Storage)

1.4 데이터 분석 (Analysis)

02 - 데이터 처리

2.1 데이터 처리

2.2 배치 (Batch) 처리

2.3 워크플로우 (Workflow) 관리

2.4 스트림 (Stream) 처리

2.4.1 Kafka Intro

2.4.2 Kafka Advanced

2.4.3 Spark Streaming

2.4.4 Streaming Window

2.4.5 Streaming State

2.4.6 Streaming Sink

04 - 데이터 스토리지

4.3 RDB (MySQL)

4.4 ElasticSearch

4.5 KV Storage (DynamoDB)

05 - 데이터 애플리케이션

5.1 데이터 서비스

5.2 통계 서비스

5.3 추천 서비스

5.4 A/B 테스팅

08 - Case Study

Week 1 - Data Pipeline

Week 2 - EMR & Kubernetes

Week 3 - Metastore

Week 4 - KV & Delta Storage

Week 5 - Kafka Rebalancing

Week 6 - ML Pipeline

09 - 설치 및 환경 구성

Spark 설치 및 환경 구성

Flink 설치 및 환경 구성

Kafka 설치 및 환경 구성

MySQL 설치 및 환경 구성

DynamoDB 사용을 위한 환경 구성

ElasticSearch 설치 및 환경 구성

Presto 설치 및 환경 구성

Druid 설치 및 환경 구성

Powered By GitBook

2.4 스트림 (Stream) 처리

이 챕터에서는 Stream 을 사용하기 위한 이론과 Kafka 등 스토리지에 알아보고 Spark 와 Flink 를 사용하 스트림 데이터를 다루어봅니다. 

02 - 데이터 처리 - Previous

2.3 워크플로우 (Workflow) 관리

2.4.1 Kafka Intro

Last modified 5mo ago

Copy link