반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- MySQL
- kafka
- 에어플로우
- AWS
- Schema Registry
- 데이터 엔지니어링
- kafka rest api
- 스파크 스트리밍
- Data engineering
- 데이터
- spark streaming
- 델타레이크
- Data Warehouse
- Parquet
- Redshift
- s3
- spark
- 카프카
- 대용량 처리
- Zookeeper
- 카프카 구축
- 데이터 웨어하우스
- 스파크
- 컬럼 기반
- 레드시프트
- delta lake
- 데이터 엔지니어
- Data Engineer
- airflow
- docker
Archives
- Today
- Total
목록broekr.id (1)
데이터 엔지니어 기술 블로그
[🧙Kafka] 카프카 구축 (4) - 카프카 설정 구성하기
About 카프카를 사용할 때 운영으로 사용하려면 구성을 잘 조절해야 한다. 스트리밍 데이터로 많은 데이터가 들어오고 나가기 때문에 비용 차이, 속도 차이가 클 수 있다. /config/server.properties 파일을 수정하여 설정을 적용할 수 있다. 카프카 구성하기 broker.id=1 카프카는 클러스터로 구축할 때 broker.id를 기준으로 브로커를 분류하기 때문에 하나의 클러스터에서 여러개의 broker.id를 지정할 수 없고 각기 다르게 지정해주어야 한다. port=9092 카프카는 기본 포트로 9092를 사용한다. num.network.threads=3 네트워크 요청을 처리하는 쓰레드 수 지정할 수 있다. num.io.threads=8 IO가 발생했을 때 사용되어지는 쓰레드의 개수를 지..
데이터 엔지니어링
2021. 4. 7. 11:42