반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 카프카 구축
- Parquet
- AWS
- Zookeeper
- 데이터 웨어하우스
- 데이터 엔지니어링
- MySQL
- docker
- s3
- 컬럼 기반
- 데이터 엔지니어
- Data engineering
- 에어플로우
- airflow
- Schema Registry
- 카프카
- kafka
- Redshift
- 데이터
- spark
- 대용량 처리
- spark streaming
- Data Warehouse
- 스파크
- 레드시프트
- delta lake
- Data Engineer
- 델타레이크
- 스파크 스트리밍
- kafka rest api
Archives
- Today
- Total
목록확장자 (1)
데이터 엔지니어 기술 블로그
[Apache Parquet] 공식 문서로 파케이 이해하기
개발 동기 우리는 어떤 하둡 에코시스템에도 사용할 수 있고 압축과 컬럼 기반 데이터 표현의 이점을 만들기 위해 Parquet를 개발했습니다. Parquet는 처음부터 중첩된(nested) 데이터 구조를 위해 개발되었으며, Dremel의 논문에 작성된 record shredding and assembly algorithm을 사용합니다. 우리는 이 접근 방식이 중첩된 name space를 단순하게 붙이는 것보다 좋다고 믿고 있습니다. https://github.com/julienledem/redelm/wiki/The-striping-and-assembly-algorithms-from-the-Dremel-paper Parquet는 효율적인 압축과 인코딩 체계를 지원하도록 개발되었습니다. 여러 프로젝트에서 데이..
데이터 엔지니어링
2022. 1. 20. 22:35