| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- 델타레이크
- Zookeeper
- spark
- 카프카 구축
- Redshift
- 데이터 엔지니어
- 대용량 처리
- Schema Registry
- kafka rest api
- 데이터
- 컬럼 기반
- 데이터 엔지니어링
- 카프카
- Parquet
- kafka
- Data Warehouse
- s3
- Data engineering
- airflow
- 스파크 스트리밍
- 레드시프트
- MySQL
- 스파크
- AWS
- docker
- Data Engineer
- delta lake
- spark streaming
- 에어플로우
- 데이터 웨어하우스
- Today
- Total
목록업데이트 (2)
데이터 엔지니어 기술 블로그
키가 존재하면 업데이트하고, 존재하지 않으면 삽입하는 동작이 필요했다. 하지만 대용량의 요청을 보내면서 무리를 덜 줄 방법을 생각하다가 스택오버플로우에 물어봤는데 금방 답변을 해주었다. 질문했던 내용을 자세히 보려면 이 링크를 참조하면 된다. 기존의 방식 1. 1번 키에 prop_a, prop_b에 데이터 삽입 INSERT INTO example_table (id, prop_a, prop_b) VALUES (1,1,7) ON DUPLICATE KEY UPDATE prop_a=1,prop_b=7; ------------------------------------------------------------- id(primary key), prop_a, prop_b, prop_c 1 1 7 0 --------..
[👾Git] Git 서브모듈(submodule) 사용법
About 프로젝트를 할 때 코드를 깃에 올려서 관리를 하는데, 나중에 다른 곳에서 중복 코드를 만들지 않고 사용하려면 깃을 분리해서 코드를 나누는 것이 좋다. 이럴 때를 위해서 git에서 제공해주는 것이 서브모듈(submodule)이다. Submodule 서브모듈 추가하기 메인으로 사용하는 깃에서 서브모듈을 사용하고 싶다면 git submodule add 명령어를 사용하여 추가할 수 있다. git submodule add 이 명령어를 사용해서 추가하면 .gitmodules에 서브모듈이 아래처럼 추가된다. [submodule "sample-submodule"] path = sample-submodule url = https://github.com/user-id/sample-submodule git sta..