반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 데이터 엔지니어
- s3
- kafka rest api
- Data Engineer
- 대용량 처리
- AWS
- 데이터 엔지니어링
- 스파크
- 카프카
- 스파크 스트리밍
- kafka
- 데이터
- 레드시프트
- docker
- Schema Registry
- airflow
- Data engineering
- Data Warehouse
- spark
- Parquet
- spark streaming
- delta lake
- Zookeeper
- 컬럼 기반
- 데이터 웨어하우스
- MySQL
- 델타레이크
- Redshift
- 카프카 구축
- 에어플로우
Archives
- Today
- Total
목록delta.io (1)
데이터 엔지니어 기술 블로그
데이터 레이크하우스의 개념
(Data lakehouse in action의 1, 2장을 요약한 글입니다.) Data Lakehouse in Action - 저자 Pradeep Menon 출판 Packt Publishing 출판일 2022.03.17 1. 데이터 분석 패턴의 진화 엔터프라이즈 데이터 웨어하우스(EDW) 시대 EDW 시대가 시작된 배경은 다음과 같았습니다. 분석은 리포팅과 같은 말이었습니다. 데이터베이스 구조를 리포팅하는데 최적화하는 것이 최우선 목표였습니다. Ralph Kimball, Bill Inmon에 의해 1990, 2000년대에 활성화되었습니다. EDW의 패턴은 다음과 같았습니다. Flat Files, Databases -> ETL -> EDW -> Data Marts -> BI EDW는 오랜 시간동안 자리를..
카테고리 없음
2024. 1. 15. 23:29