반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- Schema Registry
- 카프카 구축
- delta lake
- 스파크 스트리밍
- airflow
- kafka rest api
- spark streaming
- 데이터
- 레드시프트
- Redshift
- 데이터 웨어하우스
- Parquet
- AWS
- kafka
- 카프카
- 스파크
- Data engineering
- 데이터 엔지니어
- s3
- 대용량 처리
- Data Engineer
- MySQL
- 델타레이크
- spark
- 에어플로우
- Zookeeper
- Data Warehouse
- 컬럼 기반
- 데이터 엔지니어링
- docker
Archives
- Today
- Total
목록연동 (1)
데이터 엔지니어 기술 블로그

개요 에어플로우에서 작업이 실패했을 때 알 수 있는 방법은 Airflow 인터페이스 웹에 들어가서 확인을 하거나 email을 연동하거나 slack을 연동하는 등의 방법이 있다. 현재는 연동이 되어있지 않아서 작업에 실패하면 직접 들어가서 확인을 해야했는데, 이러면 알람이 늦어져서 조치가 어려워진다. 그래서 지금은 현재 사용하는 Slack과 연동을 해보려고 한다. - 이 문서에서 사용하는 에어플로우 버전은 2.0.0이다. Slack으로 메세지 보내는 방법 Airflow Operator 중에 slack으로 메세지를 보내주는 오퍼레이터가 있다. 자세한 내용은 이 링크를 참조하면 된다. 1. Airflow가 설치되어 있는 서버에서 apache-airflow-providers-slack 을 설치한다. python..
데이터 엔지니어링
2021. 6. 14. 17:35