반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 데이터 엔지니어링
- docker
- Data Warehouse
- 레드시프트
- AWS
- 카프카
- 델타레이크
- kafka rest api
- Zookeeper
- 데이터
- Data Engineer
- 대용량 처리
- airflow
- 카프카 구축
- 에어플로우
- kafka
- 스파크 스트리밍
- spark
- Schema Registry
- 데이터 웨어하우스
- 스파크
- 데이터 엔지니어
- delta lake
- Parquet
- s3
- spark streaming
- Redshift
- 컬럼 기반
- MySQL
- Data engineering
Archives
- Today
- Total
목록스파크 에러 (1)
데이터 엔지니어 기술 블로그
[🔥Spark] StreamingQueryException: Cannot find earliest offsets of Set(topic-name-0)
전체 에러 메세지 StreamingQueryException: Cannot find earliest offsets of Set(topic-name-0). Some data may have been missed. Some data may have been lost because they are not available in Kafka any more; either the data was aged out by Kafka or the topic may have been deleted before all the data in the topic was processed. If you don't want your streaming query to fail on such cases, set the source opt..
데이터 엔지니어링
2021. 11. 2. 23:53