반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- 컬럼 기반
- Schema Registry
- 데이터
- 에어플로우
- 스파크
- spark
- kafka rest api
- 카프카 구축
- 데이터 엔지니어
- docker
- Redshift
- Data Warehouse
- 대용량 처리
- spark streaming
- airflow
- Data Engineer
- 델타레이크
- 카프카
- 데이터 엔지니어링
- Data engineering
- 레드시프트
- 스파크 스트리밍
- AWS
- s3
- delta lake
- 데이터 웨어하우스
- MySQL
- Parquet
- Zookeeper
- kafka
Archives
- Today
- Total
목록카프카 설치 (1)
데이터 엔지니어 기술 블로그

About 이번에는 카프카를 도커로 설치하고 '카프카 설치 (1)' 에서 했던 주키퍼 앙상블을 연결하려고 한다. 하나의 컴퓨터에서 클러스터를 구성해보고, 배포할 때 크게 변경 없이 배포하기 위해 도커로 구성하려고 한다. 카프카 브로커는 5개로 구성하고 크기를 쉽게 변경 가능하도록 하려고 한다. Tutorial & Example 1. 작업할 폴더를 생성한다. 2. Dockerfile을 아래와 같이 작성한다. FROM ubuntu:18.04 RUN mkdir -p /root/install RUN apt-get update WORKDIR /root/install ENV DEBIAN_FRONTEND noninteractive ENV JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ..
데이터 엔지니어링
2021. 4. 6. 18:18