반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 에어플로우
- 데이터 엔지니어
- docker
- s3
- 델타레이크
- airflow
- 카프카 구축
- 대용량 처리
- Data Warehouse
- spark
- Data Engineer
- kafka rest api
- AWS
- 데이터 엔지니어링
- Schema Registry
- Parquet
- 레드시프트
- 데이터 웨어하우스
- Data engineering
- 스파크
- 카프카
- spark streaming
- 컬럼 기반
- 데이터
- MySQL
- delta lake
- Zookeeper
- Redshift
- 스파크 스트리밍
- kafka
Archives
- Today
- Total
목록failOnDataLoss (1)
데이터 엔지니어 기술 블로그
[🔥Spark] StreamingQueryException: Cannot find earliest offsets of Set(topic-name-0)
전체 에러 메세지 StreamingQueryException: Cannot find earliest offsets of Set(topic-name-0). Some data may have been missed. Some data may have been lost because they are not available in Kafka any more; either the data was aged out by Kafka or the topic may have been deleted before all the data in the topic was processed. If you don't want your streaming query to fail on such cases, set the source opt..
데이터 엔지니어링
2021. 11. 2. 23:53