반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 레드시프트
- 스파크
- kafka rest api
- delta lake
- 데이터 엔지니어링
- 데이터 웨어하우스
- s3
- 에어플로우
- Data engineering
- Data Engineer
- 데이터 엔지니어
- Parquet
- 델타레이크
- Data Warehouse
- MySQL
- 대용량 처리
- airflow
- Schema Registry
- AWS
- 카프카 구축
- 데이터
- spark
- 컬럼 기반
- Zookeeper
- Redshift
- spark streaming
- kafka
- 카프카
- docker
- 스파크 스트리밍
Archives
- Today
- Total
목록스트리밍 (1)
데이터 엔지니어 기술 블로그
[Delta Lake] 데이터 레이크하우스: 테이블 활용하기
1. 테이블 읽기 및 쓰기 1.1 테이블 생성하는 방법 spark.sql CREATE TABLE delta.`s3://bucket_name/foo/bar/table_name` ( id INT, firstName STRING, middleName STRING, lastName STRING, ) USING DELTA write df.write.format("delta").mode("overwrite").save("s3://bucket_name/foo/bar/table_name") 1.2 시간 여행 델타레이크에서는 timestamp와 version으로 시간 여행을 할 수 있다. 사용자의 실수로 테이블의 어떤 데이터를 삭제하나 업데이트 한 경우 시간 여행으로 과거의 테이블로 돌아가 다시 쓸 수 있다. df1 =..
데이터 엔지니어링
2022. 3. 18. 13:04