반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 에어플로우
- 레드시프트
- 대용량 처리
- MySQL
- Redshift
- spark
- Schema Registry
- docker
- 데이터 웨어하우스
- 스파크
- 데이터 엔지니어링
- Data Warehouse
- Data Engineer
- AWS
- 데이터
- 카프카
- Zookeeper
- 카프카 구축
- kafka
- spark streaming
- 데이터 엔지니어
- airflow
- 델타레이크
- kafka rest api
- Parquet
- 스파크 스트리밍
- Data engineering
- s3
- 컬럼 기반
- delta lake
Archives
- Today
- Total
목록카프카 파이썬 (1)
데이터 엔지니어 기술 블로그
[🧙Kafka] 카프카 구축 (7) - 카프카 프로듀서 파이썬에서 구현하기
About 카프카는 Java를 제공하지만 go, python 등에서 서드파티에서 사용할 수 있도록 해주기도 한다. 이번에는 파이썬 애플리케이션에서 카프카로 보내는 방법과 추가 구성들을 알아보려고 한다. Example bootstrap.servers 최초 연결을 위한 브로커 서버 목록을 설정한다. 모든 브로커를 포함할 필요는 없지만 여러개로 설정해두어야 부트스트랩 서버 중 하나가 문제가 생겼을 때 다음 서버로 시도할 수 있다. key.serializer 메시지의 키를 직렬화할 직렬처리기의 이름을 여기에 설정한다. 직렬처리기는 객체를 Byte Array로 변환해준다. ByteArraySerializer, StringSerializer, IntegerSerializer라는 직렬처리기가 존재하고 사용자가 직접 ..
데이터 엔지니어링
2021. 4. 9. 12:35