반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- 데이터 웨어하우스
- Parquet
- Zookeeper
- 카프카 구축
- 데이터 엔지니어
- 스파크 스트리밍
- Data engineering
- 대용량 처리
- 델타레이크
- 에어플로우
- Schema Registry
- Data Warehouse
- spark streaming
- airflow
- spark
- kafka rest api
- 카프카
- 데이터
- 스파크
- AWS
- 레드시프트
- Data Engineer
- 컬럼 기반
- delta lake
- Redshift
- 데이터 엔지니어링
- docker
- s3
- kafka
- MySQL
Archives
- Today
- Total
목록PyPI (1)
데이터 엔지니어 기술 블로그

개요 파이써 패키지를 만들어서 사용해야하는데, public pypi 에 올릴 수 없는 경우 private PyPI 서버를 만들어야한다. 서버를 띄워둘 때 새로운 EBS를 연결하지 않은 EC2나 EFS를 연결하지 않은 ECS 등의 상태가 유지되지 않을 수 있는 환경에서 띄우기엔 애매할 때 S3를 백엔드로 사용할 수 있다. 내용 S3를 백엔드로 사용하려면 pypicloud라는 라이브러리를 사용하면 된다. S3외에도 GCS, Blob Storage를 사용할 수 있다. 공식 페이지 https://pypi.org/project/pypicloud/ Getting Started https://pypicloud.readthedocs.io/en/latest/topics/getting_started.html#uploadi..
데이터 엔지니어링
2021. 10. 11. 21:20