반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Parquet
- 델타레이크
- AWS
- kafka rest api
- kafka
- Data engineering
- 에어플로우
- airflow
- s3
- Data Warehouse
- docker
- delta lake
- 데이터 엔지니어
- 대용량 처리
- 데이터 엔지니어링
- 컬럼 기반
- 데이터 웨어하우스
- 스파크 스트리밍
- spark streaming
- 스파크
- spark
- Schema Registry
- Zookeeper
- MySQL
- 카프카 구축
- Data Engineer
- Redshift
- 레드시프트
- 카프카
- 데이터
Archives
- Today
- Total
목록spark error (1)
데이터 엔지니어 기술 블로그
[🔥Spark] StreamingQueryException: Cannot find earliest offsets of Set(topic-name-0)
전체 에러 메세지 StreamingQueryException: Cannot find earliest offsets of Set(topic-name-0). Some data may have been missed. Some data may have been lost because they are not available in Kafka any more; either the data was aged out by Kafka or the topic may have been deleted before all the data in the topic was processed. If you don't want your streaming query to fail on such cases, set the source opt..
데이터 엔지니어링
2021. 11. 2. 23:53