반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 카프카
- Parquet
- Data engineering
- 데이터 엔지니어링
- s3
- docker
- airflow
- spark streaming
- kafka rest api
- Schema Registry
- 에어플로우
- spark
- 컬럼 기반
- 데이터
- AWS
- 데이터 웨어하우스
- kafka
- 델타레이크
- 대용량 처리
- Redshift
- 스파크 스트리밍
- 스파크
- Data Warehouse
- 데이터 엔지니어
- 카프카 구축
- Zookeeper
- MySQL
- 레드시프트
- Data Engineer
- delta lake
Archives
- Today
- Total
목록아파치 파케이 (1)
데이터 엔지니어 기술 블로그
[데이터 엔지니어링] Apache Parquet 정리
Apache Hadoop 에코 시스템의 column-oriented 데이터 스토리지 포맷입니다. Hadoop에서 사용할 수 있는 column-oriented 파일 형식 RCFile, ORC와 유사합니다. 향상된 성능과 함께 효율적인 데이터 압축 및 인코딩 체계를 제공합니다. 기존 Hadoop 컬럼 스토리지 형식인 Trevni을 개선하기 위해 설계되었습니다. 기능 column-oriented 1. 각 열의 값은 인접한 메모리 위치에 물리적으로 저장됩니다. 2. 열 단위 압축은 효율적이어서 저장 공간을 절약합니다. 3. 같은 열의 값은 비슷한 유형이므로 유형별 압축 기술이 필요하지 않습니다. 4. 특정 열 값을 가져오는 쿼리는 전체 행을 읽지 않고 일부 열만 읽습니다. 5. 열마다 다른 인코딩을 적용할 수 ..
데이터 엔지니어링
2021. 3. 8. 17:19