데이터 엔지니어 기술 블로그

데이터 엔지니어 기술 블로그

  • 분류 전체보기 (73)
    • 데이터 엔지니어링 (48)
    • Infrastructure (1)
    • 기술 (3)
    • AWS (4)
    • 데이터 엔지니어링 위클리 (8)
  • 홈
  • 태그
  • 방명록
RSS 피드
로그인
로그아웃 글쓰기 관리

데이터 엔지니어 기술 블로그

컨텐츠 검색

태그

delta lake airflow AWS 데이터 Redshift kafka 카프카 data engineering weekly 스파크 Data Engineer spark s3 데이터 엔지니어링 docker MySQL 에어플로우 Ai 데이터 엔지니어 Data engineering spark streaming

최근글

댓글

공지사항

아카이브

REST API(1)

  • [🧙Kafka] 카프카 구축 (3) - 카프카 클러스터 REST API로 사용하기

    About 카프카 구축 (1) 과 카프카 구축 (2) 에서 구축했던 카프카 클러스터는 각자 다른 host를 가지고 있기 때문에 프로듀서가 카프카로 요청을 보낼 때 어디로 보내야 할 지 확실하지가 않다. 프로듀서에서 카프카 클러스터 중 하나의 브로커로 보낸다고 했을 때 그 브로커가 어떠한 문제로 종료되면 요청을 보낼수가 없다. 그래서 하나의 엔드포인트가 필요하다. 엔드포인트에 요청을 보내면 문제가 생긴 인스턴스가 아닌 곳으로 요청을 보내 처리할 수 있도록 고가용성을 확보할 수 있다. 직접 REST API를 만드려고 했으나 Confluent에서 오픈소스로 지원해주어서 사용하여 구축하려고 한다. Confluent의 기능을 사용할 수 있는 방법은 두가지가 있다. Confluent Platform 과 Conflu..

    2021.04.07
이전
1
다음
아이템즈
© 2025 Items. All rights reserved.

티스토리툴바