반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Zookeeper
- Redshift
- 스파크
- Schema Registry
- Data Warehouse
- 대용량 처리
- 델타레이크
- s3
- kafka
- 카프카 구축
- Data engineering
- 데이터 웨어하우스
- kafka rest api
- 데이터 엔지니어
- 에어플로우
- docker
- airflow
- 데이터 엔지니어링
- spark
- 레드시프트
- 컬럼 기반
- AWS
- delta lake
- 데이터
- 카프카
- Parquet
- Data Engineer
- 스파크 스트리밍
- MySQL
- spark streaming
Archives
- Today
- Total
목록네이밍 컨벤션 (1)
데이터 엔지니어 기술 블로그
[🧙Kafka] 카프카 토픽 이름 짓는 법(Topic Naming Convention)
개요 카프카에서는 토픽을 많이 생성해서 사용하는데 Naming Convention 없이 사용하게 된다면 나중에 복잡해질수도 있기 때문에 알아보려고 한다. Convention 카프카에서 토픽을 생성할 때 유효한 문자는 [영문, 숫자, '.', '_', '-']만 사용할 수 있다. 그리고 유의할 점은 마침표(.)와 밑줄(_)은 충돌할 수 있기 때문에 둘 중 하나만 사용하는 것이 좋다. 선택할 수 있는 예시들은 다음과 같다. .. -- ... .. .. ... .. .. 이 게시물을 작성한 사람은 이 데이터 타입으로 성공했다고 한다. 이 방식으로 사용하면 인프라가 어느정도 커져도 커버할 수 있을 것으로 예상된다. message type logging queuing tracking etl/db streaming..
데이터 엔지니어링
2021. 7. 11. 18:45