반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- kafka
- 컬럼 기반
- delta lake
- 스파크 스트리밍
- Data engineering
- 데이터 엔지니어링
- Parquet
- spark streaming
- 에어플로우
- 데이터 웨어하우스
- Zookeeper
- Data Engineer
- 레드시프트
- 카프카 구축
- docker
- Redshift
- 데이터 엔지니어
- 델타레이크
- Data Warehouse
- Schema Registry
- spark
- 대용량 처리
- kafka rest api
- 데이터
- s3
- AWS
- MySQL
- airflow
- 스파크
- 카프카
Archives
- Today
- Total
목록데이터 레이크하우스 (1)
데이터 엔지니어 기술 블로그

(Data lakehouse in action의 1, 2장을 요약한 글입니다.) Data Lakehouse in Action - 저자 Pradeep Menon 출판 Packt Publishing 출판일 2022.03.17 1. 데이터 분석 패턴의 진화 엔터프라이즈 데이터 웨어하우스(EDW) 시대 EDW 시대가 시작된 배경은 다음과 같았습니다. 분석은 리포팅과 같은 말이었습니다. 데이터베이스 구조를 리포팅하는데 최적화하는 것이 최우선 목표였습니다. Ralph Kimball, Bill Inmon에 의해 1990, 2000년대에 활성화되었습니다. EDW의 패턴은 다음과 같았습니다. Flat Files, Databases -> ETL -> EDW -> Data Marts -> BI EDW는 오랜 시간동안 자리를..
카테고리 없음
2024. 1. 15. 23:29