반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- 델타레이크
- Data engineering
- 레드시프트
- 데이터 엔지니어
- spark
- s3
- kafka
- MySQL
- AWS
- 데이터 엔지니어링
- Data Engineer
- 데이터 웨어하우스
- 카프카
- 스파크
- Schema Registry
- 스파크 스트리밍
- Parquet
- Data Warehouse
- delta lake
- 대용량 처리
- airflow
- Zookeeper
- 카프카 구축
- 컬럼 기반
- 데이터
- Redshift
- kafka rest api
- 에어플로우
- docker
- spark streaming
Archives
- Today
- Total
목록오픈소스 워크플로우 관리 플랫폼 (1)
데이터 엔지니어 기술 블로그
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/bPEXoC/btq7deZwfpC/PDNFgKlgVFxWUIpdtFOYL1/img.png)
개요 에어플로우에서 작업이 실패했을 때 알 수 있는 방법은 Airflow 인터페이스 웹에 들어가서 확인을 하거나 email을 연동하거나 slack을 연동하는 등의 방법이 있다. 현재는 연동이 되어있지 않아서 작업에 실패하면 직접 들어가서 확인을 해야했는데, 이러면 알람이 늦어져서 조치가 어려워진다. 그래서 지금은 현재 사용하는 Slack과 연동을 해보려고 한다. - 이 문서에서 사용하는 에어플로우 버전은 2.0.0이다. Slack으로 메세지 보내는 방법 Airflow Operator 중에 slack으로 메세지를 보내주는 오퍼레이터가 있다. 자세한 내용은 이 링크를 참조하면 된다. 1. Airflow가 설치되어 있는 서버에서 apache-airflow-providers-slack 을 설치한다. python..
데이터 엔지니어링
2021. 6. 14. 17:35