반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- 데이터 엔지니어
- 카프카
- 레드시프트
- 데이터 엔지니어링
- 데이터
- 컬럼 기반
- airflow
- Redshift
- spark
- Parquet
- delta lake
- 대용량 처리
- docker
- Zookeeper
- 데이터 웨어하우스
- 스파크 스트리밍
- spark streaming
- 에어플로우
- Data engineering
- Schema Registry
- 델타레이크
- AWS
- kafka rest api
- Data Engineer
- 카프카 구축
- 스파크
- MySQL
- s3
- kafka
- Data Warehouse
Archives
- Today
- Total
목록Ensemble (1)
데이터 엔지니어 기술 블로그

About 카프카 브로커에서 브로커와 토픽의 메타데이터를 저장하기 위해 주키퍼를 사용한다. 주키퍼를 단독으로 구성할 수도 있지만, 주키퍼를 클러스터로 구성하여 고가용성을 확보한 것을 주키퍼 앙상블(Zookeeper Ensemble)이라고 한다. 주키퍼 서버는 홀수로 구성하는 것을 권고하고 있기 때문에 3대로 구성하려고 한다. 홀수로 구성하는 이유는 예를 들어서 4대로 구성을 했을 때 결함에 대한 장애 대비 기능(failover)가 3대로 구성한 것과 다르지 않기 때문인데, 짝수로 구성해도 다른 큰 문제는 없다. 하나의 OS에서 3개의 도커를 띄워 구성해보려고 한다. Tutorial & Example 1. 작업할 폴더를 생성한다. 2. Dockerfile을 아래와 같이 작성한다. FROM ubuntu:18..
데이터 엔지니어링
2021. 4. 6. 05:39