[🔥Spark] Spark Streaming 이란?

Spark Streaming 개요

spark streaming

 

스트리밍 처리는 실시간으로 들어오는 데이터를 처리하는 것을 말하는데, 스파크 스트리밍은 배치 처리를 해준다. 배치 처리란 A시간 부터 B시간까지의 처리를 한 묶음, B시간 부터 C시간까지의 처리를 한 묶음으로, 처리를 하는 것을 말한다. n초에 한 번씩 실행하는 등의 지정을 할 수 있다.

 

스파크 스트리밍은 특정 포트를 통해 데이터를 받아들일 수 있으며 데이터를 전부 불러와서 처리하는 것이 아닌 특정 시간 사이에 들어온 데이터를 처리하는 방식이다.

 

Example

1. 스파크 세션을 생성한다.

2. 스트리밍 데이터프레임 생성한다.

3. 변형 작업을 한다.

4. 목적지로 출력한다.

5. 1을 더하는 출력 결과 예시는 다음과 같다.

 

-------------------------------------------
Batch: 1
-------------------------------------------
+-----------------------+-----+------+
|timestamp              |value|result|
+-----------------------+-----+------+
|2021-04-01 11:40:37.867|0    |1     |
+-----------------------+-----+------+
-------------------------------------------
Batch: 2
-------------------------------------------
+-----------------------+-----+------+
|timestamp              |value|result|
+-----------------------+-----+------+
|2021-04-01 11:40:38.867|1    |2     |
|2021-04-01 11:41:33.037|2    |3     |
+-----------------------+-----+------+