데이터 엔지니어 기술 블로그

데이터 엔지니어 기술 블로그

  • 분류 전체보기 (73)
    • 데이터 엔지니어링 (48)
    • Infrastructure (1)
    • 기술 (3)
    • AWS (4)
    • 데이터 엔지니어링 위클리 (8)
  • 홈
  • 태그
  • 방명록
RSS 피드
로그인
로그아웃 글쓰기 관리

데이터 엔지니어 기술 블로그

컨텐츠 검색

태그

data engineering weekly spark spark streaming 카프카 s3 kafka 스파크 데이터 엔지니어 airflow 데이터 에어플로우 Redshift 데이터 엔지니어링 Ai Data Engineer Data engineering delta lake MySQL docker AWS

최근글

댓글

공지사항

아카이브

option(1)

  • [🔥Spark] Spark Streaming + Kafka Option

    Spark Streaming Kafka Option Example df = spark \ .readStream \ .format("kafka") \ .option("option name", "option value") \ .load() startingTimestamp 구독중인 주제의 모든 파티션에 대한 시작 타임스탬프를 지정한다. 타입: timestamp string e.g. "1000" 기본값: none (next preference is startingOffsetsByTimestamp) startingOffsetsByTimestamp 쿼리가 시작될 때 타임스탬프의 시작점 타입: json string """ {"topicA":{"0": 1000, "1": 1000}, "topicB": {"0": 200..

    2021.11.01
이전
1
다음
아이템즈
© 2025 Items. All rights reserved.

티스토리툴바