반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- spark
- 데이터 엔지니어
- AWS
- delta lake
- 카프카 구축
- 데이터
- MySQL
- Zookeeper
- s3
- kafka rest api
- 에어플로우
- Data engineering
- 스파크
- airflow
- 레드시프트
- spark streaming
- 컬럼 기반
- Schema Registry
- docker
- Data Engineer
- Data Warehouse
- Parquet
- 델타레이크
- kafka
- 스파크 스트리밍
- Redshift
- 데이터 웨어하우스
- 카프카
- 대용량 처리
- 데이터 엔지니어링
Archives
- Today
- Total
목록Kafdrop (1)
데이터 엔지니어 기술 블로그
[🧙Kafka] 카프카 구축 (5) - 카프카 UI 간단하게 구성하기
About 카프카를 GUI로 보기 위해서 kafdrop 이라는 라이브러리를 사용하려고 한다. docker로 미리 만들어진 이미지가 있어서 정말 간단하게 사용할 수 있다. Tutorial & Example 1. 작업할 폴더를 생성한다. 2. docker-compose.yml 파일을 생성하고 아래처럼 입력한다. - KAFKA_BROKERCONNECT에 기존에 생성했던 카프카 브로커를 입력해주었다. version: "3.8" services: kafdrop: image: obsidiandynamics/kafdrop restart: "always" ports: - "9000:9000" environment: KAFKA_BROKERCONNECT: "pipeline-kafka-1:9092,pipeline-kafka..
데이터 엔지니어링
2021. 4. 8. 01:02