반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- Data engineering
- spark
- Data Engineer
- 델타레이크
- 스파크 스트리밍
- AWS
- spark streaming
- delta lake
- 카프카
- 레드시프트
- 대용량 처리
- 스파크
- 데이터 엔지니어링
- 데이터
- Redshift
- MySQL
- Zookeeper
- docker
- s3
- 에어플로우
- Parquet
- kafka rest api
- 컬럼 기반
- 데이터 엔지니어
- Data Warehouse
- Schema Registry
- 카프카 구축
- airflow
- kafka
- 데이터 웨어하우스
Archives
- Today
- Total
목록AWS Example (1)
데이터 엔지니어 기술 블로그

개요 스팟 인스턴스는 온디맨드에 비해 70~90%정도의 가격으로 EC2 인스턴스를 이용할 수 있게 해주는 기능을 말한다. 가격은 수요와 공급에 따라 항상 변화한다. 대신 안정성이 떨어지는데 전체 EC2 인스턴스가 부족해지면 사용하던 스팟 인스턴스를 종료시킨다는 것이다. 그래서 유연하게 동작해야하는 작업에 사용된다. 개념 spot capacity pool 미사용 EC2 인스턴스 집합을 말한다. Spot Price 스팟 인스턴스의 현재 시간당 가격이다. Spot Instance request 스팟 인스턴스를 사용하기 위한 최고 가격을 제시하면 그에 맞는 인스턴스가 있을 때 사용할 수 있게 해준다. 일회성이나 영구적으로 사용하는 방법이 있는데 영구적 사용시 인스턴스가 종료되고 다시 인스턴스 풀에 사용할 수 있..
AWS
2021. 4. 30. 23:18