데이터 엔지니어 기술 블로그

데이터 엔지니어 기술 블로그

  • 분류 전체보기 (73)
    • 데이터 엔지니어링 (48)
    • Infrastructure (1)
    • 기술 (3)
    • AWS (4)
    • 데이터 엔지니어링 위클리 (8)
  • 홈
  • 태그
  • 방명록
RSS 피드
로그인
로그아웃 글쓰기 관리

데이터 엔지니어 기술 블로그

컨텐츠 검색

태그

airflow Redshift data engineering weekly s3 Data Engineer 카프카 Ai Data engineering 에어플로우 데이터 MySQL 스파크 AWS spark spark streaming 데이터 엔지니어링 delta lake 데이터 엔지니어 kafka docker

최근글

댓글

공지사항

아카이브

Parameter(1)

  • [🔥Spark] Spark Streaming + Kafka Option

    Spark Streaming Kafka Option Example df = spark \ .readStream \ .format("kafka") \ .option("option name", "option value") \ .load() startingTimestamp 구독중인 주제의 모든 파티션에 대한 시작 타임스탬프를 지정한다. 타입: timestamp string e.g. "1000" 기본값: none (next preference is startingOffsetsByTimestamp) startingOffsetsByTimestamp 쿼리가 시작될 때 타임스탬프의 시작점 타입: json string """ {"topicA":{"0": 1000, "1": 1000}, "topicB": {"0": 200..

    2021.11.01
이전
1
다음
아이템즈
© 2025 Items. All rights reserved.

티스토리툴바