데이터 엔지니어 기술 블로그

데이터 엔지니어 기술 블로그

  • 분류 전체보기 (73)
    • 데이터 엔지니어링 (48)
    • Infrastructure (1)
    • 기술 (3)
    • AWS (4)
    • 데이터 엔지니어링 위클리 (8)
  • 홈
  • 태그
  • 방명록
RSS 피드
로그인
로그아웃 글쓰기 관리

데이터 엔지니어 기술 블로그

컨텐츠 검색

태그

Redshift Ai 카프카 Data Engineer 데이터 엔지니어링 spark s3 MySQL 데이터 데이터 엔지니어 에어플로우 AWS data engineering weekly 스파크 airflow Data engineering kafka docker spark streaming delta lake

최근글

댓글

공지사항

아카이브

Parameter(1)

  • [🔥Spark] Spark Streaming + Kafka Option

    Spark Streaming Kafka Option Example df = spark \ .readStream \ .format("kafka") \ .option("option name", "option value") \ .load() startingTimestamp 구독중인 주제의 모든 파티션에 대한 시작 타임스탬프를 지정한다. 타입: timestamp string e.g. "1000" 기본값: none (next preference is startingOffsetsByTimestamp) startingOffsetsByTimestamp 쿼리가 시작될 때 타임스탬프의 시작점 타입: json string """ {"topicA":{"0": 1000, "1": 1000}, "topicB": {"0": 200..

    2021.11.01
이전
1
다음
아이템즈
© 2025 Items. All rights reserved.

티스토리툴바