반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 데이터 엔지니어
- 레드시프트
- kafka rest api
- Redshift
- 데이터 엔지니어링
- AWS
- delta lake
- Zookeeper
- airflow
- MySQL
- 에어플로우
- 스파크
- 카프카 구축
- s3
- 델타레이크
- docker
- Data engineering
- spark streaming
- 데이터 웨어하우스
- spark
- 스파크 스트리밍
- 카프카
- Parquet
- 대용량 처리
- Data Engineer
- 컬럼 기반
- kafka
- Schema Registry
- 데이터
- Data Warehouse
Archives
- Today
- Total
목록직렬화 (1)
데이터 엔지니어 기술 블로그
[🧙Kafka] 카프카 구축 (8) - Serializer: JSON vs Avro vs Thrift 비교
About 카프카에서 데이터를 전송할 때 직렬화를 통해 바이너리 배열로 변환해야 한다. 직렬화를 하는 이유는 어떤 값을 참조하는 주소가 담긴 변수를 저장했다고 했을 때, 다시 불러오게 된다고 해도 가르키던 값의 주소가 달라졌기 때문에 의미가 없다. 그래서 참조 값(Reference Type)은 저장하거나 보낼 수 없고 값(Value Type)만 저장하거나 보낼 수 있다. Serializer JSON 파이썬에서 직렬화, 역직렬화 방법은 다음과 같다. 파이썬 프로그래밍을 하면 array, dict 타입의 데이터를 파일로 저장하거나 불러올 때 아래의 함수(직렬화 및 역직렬화)를 자주 사용하게 된다. 스키마가 따로 존재하지 않아서 데이터를 보낼 때 전부 보내야하는 부담이 있다. # 직렬화 json_value =..
데이터 엔지니어링
2021. 4. 9. 23:22