반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- airflow
- 에어플로우
- Schema Registry
- 데이터 웨어하우스
- spark streaming
- 카프카
- 스파크 스트리밍
- 데이터 엔지니어
- MySQL
- s3
- 데이터
- spark
- 데이터 엔지니어링
- kafka
- AWS
- Data engineering
- Parquet
- 델타레이크
- docker
- 레드시프트
- Data Engineer
- 대용량 처리
- kafka rest api
- 카프카 구축
- Data Warehouse
- Redshift
- Zookeeper
- 컬럼 기반
- delta lake
- 스파크
Archives
- Today
- Total
목록데이터 마트 (1)
데이터 엔지니어 기술 블로그
데이터 웨어하우스란?
운영 시스템은 트랜잭션을 신속히 처리하는데 최적화되어있습니다. 데이터 웨어하우스는 신규 고객을 집계하고 월별 GMV를 비교하는 등의 요구사항을 처리할 수 있어야 합니다. 그러기 위해서는 운영 시스템과는 다른 구조가 필요하며 이를 다차원 모델링으로 해결합니다. 데이터 웨어하우스를 활용하는 사람들은 현업에 있는 다양한 직업을 가진 사람들입니다. 그래서 구축을 할 때는 기술보다 비즈니스 이슈를 중심으로 생각해야 합니다. 데이터 웨어하우스 구축을 위한 요구사항은 다음과 같습니다. 정보에 쉽게 접근 가능하도록 만들어야 한다. 의사결정을 위해 신뢰할 수 있는 토대가 되어야 하며 일관된 정보를 제공해야 한다. (데이터 신뢰성) 시스템 변화에 유연해야 한다. 정보를 적시에 제공해야 한다. (데이터 최신성) 현업에서 사..
데이터 엔지니어링
2024. 2. 20. 20:00