반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- 카프카
- docker
- 레드시프트
- 데이터 엔지니어링
- kafka rest api
- MySQL
- kafka
- spark
- 데이터 엔지니어
- 카프카 구축
- Data Warehouse
- 데이터
- Schema Registry
- 컬럼 기반
- spark streaming
- Parquet
- AWS
- Data engineering
- 대용량 처리
- Zookeeper
- s3
- delta lake
- Redshift
- airflow
- 스파크
- Data Engineer
- 에어플로우
- 델타레이크
- 데이터 웨어하우스
- 스파크 스트리밍
Archives
- Today
- Total
목록Kafdrop (1)
데이터 엔지니어 기술 블로그

About 카프카를 GUI로 보기 위해서 kafdrop 이라는 라이브러리를 사용하려고 한다. docker로 미리 만들어진 이미지가 있어서 정말 간단하게 사용할 수 있다. Tutorial & Example 1. 작업할 폴더를 생성한다. 2. docker-compose.yml 파일을 생성하고 아래처럼 입력한다. - KAFKA_BROKERCONNECT에 기존에 생성했던 카프카 브로커를 입력해주었다. version: "3.8" services: kafdrop: image: obsidiandynamics/kafdrop restart: "always" ports: - "9000:9000" environment: KAFKA_BROKERCONNECT: "pipeline-kafka-1:9092,pipeline-kafka..
데이터 엔지니어링
2021. 4. 8. 01:02