데이터 엔지니어 기술 블로그

데이터 엔지니어 기술 블로그

  • 분류 전체보기 (73)
    • 데이터 엔지니어링 (48)
    • Infrastructure (1)
    • 기술 (3)
    • AWS (4)
    • 데이터 엔지니어링 위클리 (8)
  • 홈
  • 태그
  • 방명록
RSS 피드
로그인
로그아웃 글쓰기 관리

데이터 엔지니어 기술 블로그

컨텐츠 검색

태그

data engineering weekly 카프카 Ai 데이터 엔지니어링 spark streaming delta lake airflow MySQL Redshift spark 스파크 에어플로우 docker AWS 데이터 데이터 엔지니어 Data Engineer s3 kafka Data engineering

최근글

댓글

공지사항

아카이브

KoNLP(1)

  • [🧙Kafka] 카프카 구축 (6) - 프로듀서로 카프카에 메시지 쓰기

    About 카프카는 클라이언트 API를 가지고 있는데 이것을 사용해서 프로듀서와 컨슈머 어플리케이션을 개발할 수 있다. 카프카는 서드파티 클라이언트를 사용할 수 있는데 python, C++, go 등에서도 사용할 수 있다. 카프카는 처리량이 많은 작업에 사용될 수 있다. 예를 들면 웹사이트 클릭 로그를 수집하거나 신용카드를 사용한 거래 등에서 사용될 수 있다. 프로듀서에서 카프카 클러스터까지의 처리 방식 메시지 클래스인 ProducerRecord의 객체를 생성한다. 토픽과 값을 입력하는 것이 기본이고 파티션과 키는 옵션으로 지정할 수 있다. send() 함수를 이용해 Serializer에서 네트워크로 전송할 수 있는 Byte Array로 변환한다. 그 후 Partitioner에서 메시지를 어떤 파티션으로..

    2021.04.08
이전
1
다음
아이템즈
© 2025 Items. All rights reserved.

티스토리툴바