일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
- 스파크
- Zookeeper
- Data Warehouse
- 레드시프트
- 컬럼 기반
- kafka rest api
- 스파크 스트리밍
- 카프카
- spark streaming
- 데이터 웨어하우스
- AWS
- s3
- airflow
- Data Engineer
- 데이터 엔지니어링
- 에어플로우
- 대용량 처리
- Data engineering
- spark
- 데이터
- 카프카 구축
- Redshift
- docker
- Schema Registry
- kafka
- delta lake
- 델타레이크
- Parquet
- 데이터 엔지니어
- MySQL
- Today
- Total
데이터 엔지니어 기술 블로그
[⚡AWS] EC2 스팟 인스턴스 간단한 개념 본문
개요
스팟 인스턴스는 온디맨드에 비해 70~90%정도의 가격으로 EC2 인스턴스를 이용할 수 있게 해주는 기능을 말한다. 가격은 수요와 공급에 따라 항상 변화한다.
대신 안정성이 떨어지는데 전체 EC2 인스턴스가 부족해지면 사용하던 스팟 인스턴스를 종료시킨다는 것이다. 그래서 유연하게 동작해야하는 작업에 사용된다.
개념
spot capacity pool
미사용 EC2 인스턴스 집합을 말한다.
Spot Price
스팟 인스턴스의 현재 시간당 가격이다.
Spot Instance request
스팟 인스턴스를 사용하기 위한 최고 가격을 제시하면 그에 맞는 인스턴스가 있을 때 사용할 수 있게 해준다.
일회성이나 영구적으로 사용하는 방법이 있는데 영구적 사용시 인스턴스가 종료되고 다시 인스턴스 풀에 사용할 수 있는 인스턴스가 발견되면 사용하게 해준다.
Spot Fleet
사용자가 지정한 기준을 바탕으로 시작되는 인스턴스 세트이다. 목표 용량을 정해두면 그 용량에 맞추어 인스턴스를 유지하려고 한다. 이 요청에 온디맨드 요청을 포함시킬 수 있다.
EC2 instance rebalance recommendation
스팟이 종료되려고 할 때 리밸런싱 권고 신호를 2분전에 생성한다.
Spot Instance interruption
최고 가격에 맞는 인스턴스가 더 이상 없을 경우 스팟 인스턴스를 중지하거나 절전모드로 전환한다.
Example
스팟 인스턴스 실행 예시
1. EC2 콘솔 네비게이션에서 스팟 요청을 클릭하고 스팟 인스턴스 요청을 클릭합니다.
2. 인스턴스를 어떻게 구성할 것인지 AMI, 네트워크, 가용영역 등을 설정할 수 있다. 시작 템플릿을 만들면 미리 만들어둔 시작 템플릿으로 인스턴스를 구성할 수 있다. 여기에서 인스턴스가 켜졌을 때 동작을 실행시킬 스크립트를 작성할 수 있는데 사용자 데이터(User Data)에 작성하면 된다.
3. 인스턴스를 몇개로 유지할지 아니면 한 번 실행하고 끝낼지 등을 정할 수 있다.
4. 인스턴스 집합 요청 설정
여기에서 인스턴스를 어떤 것을 실행할 것인지 정할 수 있다.
5. 인스턴스가 실행된 것을 확인할 수 있다.
'AWS' 카테고리의 다른 글
[⚡AWS] 키네시스(Kinesis): 실시간 데이터 스트림 (3) | 2021.06.11 |
---|---|
[⚡AWS] Redshift 상관관계가 있는 서브 쿼리 오류 (0) | 2021.05.27 |
[⚡AWS] Redshift에서 View 사용하기 (0) | 2021.05.25 |