반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- airflow
- Redshift
- 대용량 처리
- Data engineering
- MySQL
- Data Warehouse
- Schema Registry
- 데이터 엔지니어
- spark
- 데이터 엔지니어링
- 스파크
- 카프카
- Parquet
- 스파크 스트리밍
- docker
- 에어플로우
- AWS
- 카프카 구축
- 데이터 웨어하우스
- 레드시프트
- s3
- Data Engineer
- kafka rest api
- 델타레이크
- Zookeeper
- 데이터
- 컬럼 기반
- delta lake
- spark streaming
- kafka
Archives
- Today
- Total
목록분산 시스템 (1)
데이터 엔지니어 기술 블로그
[🧙Kafka] 카프카 정리 - 주키퍼(ZooKeeper)란?
주키퍼(ZooKeeper)란? 분산 코디네이션 서비스를 제공하는 오픈소스 프로젝트 주키퍼는 직접 애플리케이션 작업을 조율하지 않고 조율하는 것을 쉽게 개발할 수 있도록 도와주는 도구이다. API를 이용해 동기화나 마스터 선출 등의 작업을 쉽게 구현할 수 있게 해준다. 각 애플리케이션의 정보를 중앙 집중화하고 구성관리, 그룹 관리 네이밍, 동기화 등의 서비스를 제공한다. 주키퍼의 데이터는 메모리에 저장되고, 영구 저장소에 스냅샷을 저장한다. 분산 코디네이션 서비스란? - 분산 시스템에서 시스템 간의 정보 공유, 상태 체크, 서버들 간의 동기화를 위한 락 등을 처리해주는 서비스 Architecture 주키퍼는 분산 시스템의 일부분이기 때문에 동작을 멈춘다면 분산 시스템이 멈출수도 있다. 그래서 안정성을 확보..
데이터 엔지니어링
2021. 3. 15. 02:46