반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- docker
- spark streaming
- Data Warehouse
- spark
- 컬럼 기반
- 데이터 엔지니어
- s3
- 데이터 엔지니어링
- 데이터 웨어하우스
- airflow
- AWS
- 카프카
- 델타레이크
- Redshift
- kafka rest api
- Parquet
- 카프카 구축
- 데이터
- MySQL
- Zookeeper
- delta lake
- 스파크 스트리밍
- Schema Registry
- 에어플로우
- 스파크
- 레드시프트
- kafka
- Data engineering
- 대용량 처리
- Data Engineer
Archives
- Today
- Total
목록데이터 레이크하우스 (1)
데이터 엔지니어 기술 블로그

(Data lakehouse in action의 1, 2장을 요약한 글입니다.) Data Lakehouse in Action - 저자 Pradeep Menon 출판 Packt Publishing 출판일 2022.03.17 1. 데이터 분석 패턴의 진화 엔터프라이즈 데이터 웨어하우스(EDW) 시대 EDW 시대가 시작된 배경은 다음과 같았습니다. 분석은 리포팅과 같은 말이었습니다. 데이터베이스 구조를 리포팅하는데 최적화하는 것이 최우선 목표였습니다. Ralph Kimball, Bill Inmon에 의해 1990, 2000년대에 활성화되었습니다. EDW의 패턴은 다음과 같았습니다. Flat Files, Databases -> ETL -> EDW -> Data Marts -> BI EDW는 오랜 시간동안 자리를..
카테고리 없음
2024. 1. 15. 23:29