반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- AWS
- 스파크 스트리밍
- airflow
- 에어플로우
- 데이터
- 스파크
- s3
- MySQL
- 카프카
- Data Engineer
- 레드시프트
- Data Warehouse
- Zookeeper
- 데이터 엔지니어
- spark
- Parquet
- 대용량 처리
- Data engineering
- delta lake
- Redshift
- 컬럼 기반
- 델타레이크
- kafka rest api
- 데이터 엔지니어링
- 데이터 웨어하우스
- spark streaming
- Schema Registry
- kafka
- docker
- 카프카 구축
Archives
- Today
- Total
목록private pypi (1)
데이터 엔지니어 기술 블로그
private PyPI 구축하기(S3 backend)
개요 파이써 패키지를 만들어서 사용해야하는데, public pypi 에 올릴 수 없는 경우 private PyPI 서버를 만들어야한다. 서버를 띄워둘 때 새로운 EBS를 연결하지 않은 EC2나 EFS를 연결하지 않은 ECS 등의 상태가 유지되지 않을 수 있는 환경에서 띄우기엔 애매할 때 S3를 백엔드로 사용할 수 있다. 내용 S3를 백엔드로 사용하려면 pypicloud라는 라이브러리를 사용하면 된다. S3외에도 GCS, Blob Storage를 사용할 수 있다. 공식 페이지 https://pypi.org/project/pypicloud/ Getting Started https://pypicloud.readthedocs.io/en/latest/topics/getting_started.html#uploadi..
데이터 엔지니어링
2021. 10. 11. 21:20