반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 데이터 엔지니어
- Data engineering
- 스파크 스트리밍
- 델타레이크
- kafka rest api
- Zookeeper
- spark streaming
- Schema Registry
- 스파크
- 대용량 처리
- 카프카 구축
- spark
- 레드시프트
- 컬럼 기반
- 에어플로우
- Data Engineer
- MySQL
- docker
- AWS
- delta lake
- Data Warehouse
- 데이터 엔지니어링
- 카프카
- airflow
- kafka
- 데이터 웨어하우스
- Parquet
- 데이터
- Redshift
- s3
Archives
- Today
- Total
목록스파크 체크포인트 (1)
데이터 엔지니어 기술 블로그
[🔥Spark] StreamingQueryException: Cannot find earliest offsets of Set(topic-name-0)
전체 에러 메세지 StreamingQueryException: Cannot find earliest offsets of Set(topic-name-0). Some data may have been missed. Some data may have been lost because they are not available in Kafka any more; either the data was aged out by Kafka or the topic may have been deleted before all the data in the topic was processed. If you don't want your streaming query to fail on such cases, set the source opt..
데이터 엔지니어링
2021. 11. 2. 23:53