반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- 스파크
- Data Engineer
- 스파크 스트리밍
- 데이터 엔지니어
- 데이터 웨어하우스
- spark
- MySQL
- 카프카 구축
- airflow
- docker
- kafka rest api
- 델타레이크
- 레드시프트
- 데이터
- s3
- kafka
- Schema Registry
- Parquet
- spark streaming
- 카프카
- delta lake
- AWS
- 대용량 처리
- 에어플로우
- Redshift
- 데이터 엔지니어링
- Zookeeper
- 컬럼 기반
- Data Warehouse
- Data engineering
Archives
- Today
- Total
목록파티션 (1)
데이터 엔지니어 기술 블로그

About 카프카는 Java를 제공하지만 go, python 등에서 서드파티에서 사용할 수 있도록 해주기도 한다. 이번에는 파이썬 애플리케이션에서 카프카로 보내는 방법과 추가 구성들을 알아보려고 한다. Example bootstrap.servers 최초 연결을 위한 브로커 서버 목록을 설정한다. 모든 브로커를 포함할 필요는 없지만 여러개로 설정해두어야 부트스트랩 서버 중 하나가 문제가 생겼을 때 다음 서버로 시도할 수 있다. key.serializer 메시지의 키를 직렬화할 직렬처리기의 이름을 여기에 설정한다. 직렬처리기는 객체를 Byte Array로 변환해준다. ByteArraySerializer, StringSerializer, IntegerSerializer라는 직렬처리기가 존재하고 사용자가 직접 ..
데이터 엔지니어링
2021. 4. 9. 12:35