일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- spark streaming
- 레드시프트
- 컬럼 기반
- Parquet
- s3
- kafka
- 데이터 엔지니어링
- delta lake
- Zookeeper
- airflow
- 데이터
- 에어플로우
- MySQL
- 델타레이크
- AWS
- 카프카 구축
- docker
- 카프카
- spark
- Data engineering
- 스파크
- 데이터 엔지니어
- Redshift
- 대용량 처리
- Data Warehouse
- Data Engineer
- 스파크 스트리밍
- kafka rest api
- 데이터 웨어하우스
- Schema Registry
- Today
- Total
목록기술 (3)
데이터 엔지니어 기술 블로그
Source https://www.youtube.com/watch?v=outcGtbnMuQ GPT-4 Developer Livestream To the GPT-4 developer demo livestream. GPT-4 개발자 데모 라이브스트림에 오신 것을 환영합니다. Honestly, it's kind of hard for me to believe that this day is here. 솔직히 오늘이 왔다는 사실이 믿기지 않습니다. OpenAI has been building this technology really since we started the company, but for the past two years, we've been really focused on delivering GPT-4..
키가 존재하면 업데이트하고, 존재하지 않으면 삽입하는 동작이 필요했다. 하지만 대용량의 요청을 보내면서 무리를 덜 줄 방법을 생각하다가 스택오버플로우에 물어봤는데 금방 답변을 해주었다. 질문했던 내용을 자세히 보려면 이 링크를 참조하면 된다. 기존의 방식 1. 1번 키에 prop_a, prop_b에 데이터 삽입 INSERT INTO example_table (id, prop_a, prop_b) VALUES (1,1,7) ON DUPLICATE KEY UPDATE prop_a=1,prop_b=7; ------------------------------------------------------------- id(primary key), prop_a, prop_b, prop_c 1 1 7 0 --------..
About 프로젝트를 할 때 코드를 깃에 올려서 관리를 하는데, 나중에 다른 곳에서 중복 코드를 만들지 않고 사용하려면 깃을 분리해서 코드를 나누는 것이 좋다. 이럴 때를 위해서 git에서 제공해주는 것이 서브모듈(submodule)이다. Submodule 서브모듈 추가하기 메인으로 사용하는 깃에서 서브모듈을 사용하고 싶다면 git submodule add 명령어를 사용하여 추가할 수 있다. git submodule add 이 명령어를 사용해서 추가하면 .gitmodules에 서브모듈이 아래처럼 추가된다. [submodule "sample-submodule"] path = sample-submodule url = https://github.com/user-id/sample-submodule git sta..