반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Data Engineer
- MySQL
- 데이터 엔지니어
- Parquet
- spark
- spark streaming
- 레드시프트
- kafka
- s3
- AWS
- Zookeeper
- 카프카 구축
- 데이터 엔지니어링
- 스파크 스트리밍
- 카프카
- 에어플로우
- 대용량 처리
- 데이터 웨어하우스
- kafka rest api
- Data Warehouse
- 컬럼 기반
- Data engineering
- 데이터
- docker
- 델타레이크
- delta lake
- airflow
- Redshift
- Schema Registry
- 스파크
Archives
- Today
- Total
목록Cannot find earliest offsets (1)
데이터 엔지니어 기술 블로그
[🔥Spark] StreamingQueryException: Cannot find earliest offsets of Set(topic-name-0)
전체 에러 메세지 StreamingQueryException: Cannot find earliest offsets of Set(topic-name-0). Some data may have been missed. Some data may have been lost because they are not available in Kafka any more; either the data was aged out by Kafka or the topic may have been deleted before all the data in the topic was processed. If you don't want your streaming query to fail on such cases, set the source opt..
데이터 엔지니어링
2021. 11. 2. 23:53