반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 데이터 엔지니어
- AWS
- Schema Registry
- 스파크
- Data engineering
- Parquet
- s3
- 카프카
- 데이터
- Data Warehouse
- 대용량 처리
- Redshift
- 에어플로우
- MySQL
- delta lake
- 레드시프트
- 컬럼 기반
- 데이터 엔지니어링
- Data Engineer
- spark streaming
- Zookeeper
- spark
- kafka
- kafka rest api
- 카프카 구축
- 데이터 웨어하우스
- 스파크 스트리밍
- 델타레이크
- docker
- airflow
Archives
- Today
- Total
목록카프카 커넥터 (1)
데이터 엔지니어 기술 블로그
[🧙Kafka] S3 Sink Connector: 카프카 S3와 연동하기
개요 카프카로 데이터를 이동시킬 때 Kafka Connect를 사용하면 쉽고 편하게 이동시키는데에 도움이 된다. 예를 들면 MySQL에서 Kafka를 거쳐 S3에 넣고 싶을 때 JDBC Source Connector를 사용하여 MySQL에서 Kafka에 넣고, Kafka에서 S3 Sink Connector를 사용하여 S3에 넣을 수 있다. 여기에서 source connector는 데이터 소스에서 카프카로 데이터를 넣는 커넥터이고, sink connector는 데이터를 카프카에서 목적지로 데이터를 이동하는 커넥터이다. 이번에는 S3 Sink Connector를 사용하여 Kafka Connect가 어떻게 동작하는지 이해해보려고 한다. 시작하기 환경 Docker ubuntu:20.04 kafka 2.8.0 K..
데이터 엔지니어링
2021. 7. 9. 02:18