반응형
Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 |
Tags
- 카프카 구축
- MySQL
- 델타레이크
- Data Warehouse
- Schema Registry
- 데이터
- 데이터 엔지니어링
- delta lake
- 대용량 처리
- 데이터 웨어하우스
- Data engineering
- airflow
- 레드시프트
- spark
- docker
- Redshift
- Data Engineer
- AWS
- 컬럼 기반
- 데이터 엔지니어
- Parquet
- 에어플로우
- spark streaming
- 카프카
- kafka rest api
- s3
- 스파크 스트리밍
- kafka
- Zookeeper
- 스파크
Archives
- Today
- Total
데이터 엔지니어 기술 블로그
Tags
- 데이터 엔지니어링
- kafka
- 카프카
- Data engineering
- AWS
- spark
- 스파크
- 데이터 엔지니어
- 데이터
- spark streaming
- docker
- airflow
- delta lake
- 에어플로우
- Redshift
- s3
- MySQL
- 레드시프트
- 카프카 구축
- Data Engineer
- 스파크 스트리밍
- Parquet
- 데이터 웨어하우스
- Zookeeper
- Data Warehouse
- 델타레이크
- 컬럼 기반
- Schema Registry
- 대용량 처리
- kafka rest api
- confluent
- 카프카 프로듀서
- 파케이
- rdb
- 도커
- 쓰리프트
- thrift
- 빅데이터
- UTC
- presto
- etl
- consumer
- BATCH
- streaming
- 브로커
- KST
- Producer
- 주키퍼
- operator
- 프로듀서
- Python
- 업데이트
- 클러스터
- 압축
- delta.io
- 데이터 레이크하우스
- data-lakehouse
- chat-gpt-4
- Destination Certification
- open ai
- Chat GPT
- _delta_logs
- Delta Actions
- Commitinfo
- 델타레이크 프로토콜
- 델타레이크 테이블
- Delta lake table
- 데이터레이크하우스
- distributed query engine
- 분산 쿼리
- Data Enigneering
- Trino
- 커버로스
- writeStream
- checkpointLocation
- Multiple streaming jobs detected
- AssertionError
- 스파크 체크포인트
- failOnDataLoss
- 스파크 에러
- spark error
- Cannot find earliest offsets
- 스파크 메모리
- 스파크 설정
- spark configuration
- 스파크 카프카 연동
- 스파크 카프카 통합
- spark streaming kafka integration
- Writing job aborted
- hdfsadmingroup
- dfs.permissions.superusergroup
- AccessControlException
- local executor
- airflow worker
- airflow cluster
- ksqlDB
- confluent rest proxy
- confluent platform
- AWS Athena
- 연합 쿼리
- federated query
- 레드시프트 기본 키
- 열 기반
- Database Cluster
- AWS Redshift
- pypicloud
- s3 backend
- private pypi
- 스키마 레지스트리 도커
- 스키마 관리
- 스키마 레지스트리
- Trivago
- Kafka 사례
- Kafka 적용 사례
- 카프카 사례
- 카프카 적용 사례
- Neha Narkhede
- 네하 나크헤데
- 카프카 토픽 이름 규칙
- 이름 규칙
- 네이밍 컨벤션
- kebab case
- Kafka Topic Naming Convention
- Kafka Topic
- 압축 방식
- zstd
- brotil
- S3 Sink Connector
- Kafka S3 연동
- 카프카 커넥터
- Kafka Connector
- Kafka Connect
- 태스크플로우
- taskflow
- 실행 날짜
- 시작 날짜
- start_date
- execution_date
- Databricks
- BashOperator
- no module named
- apache-airflow-providers-slack
- 오픈소스 워크플로우 관리 플랫폼
- on failure
- Data Firehose
- Data Streams
- mbind
- sys_nice
- Correlated subquery pattern
- AWS Example
- AWS 컴퓨팅
- AWS 스팟 인스턴스
- EC2 요금 절약
- Spot Instance
- Spot Fleet
- 서브모듈 명령어 한 번에 실행하기
- 서브모듈 업데이트
- 서브모듈 추가하기
- git submodule
- 서브모듈
- at-latest-once
- exactly-once
- 카프카 내부
- 카프카 개념
- 데이터 가져오기
- polling loop
- 폴링 루프
- Spark Machine Learning
- 스파크 머신러닝
- 프로토콜 버퍼
- 에이브로
- Protocol Buffers
- Kafka Python
- 카프카 파이썬
- 명사 추출
- Kafdrop
- 카프카 UI
- 카프카 GUI
- Kafka GUI
- broekr.id
- 카프카 클러스터
- server.properties
- kafka config
- 카프카 설정
- 카프카 브로커
- 카프카 구성
- 카프카 설치
- Kafka Zookeeper
- Kafka Docker
- 주키퍼 앙상블
- 코드로서의 인프라
- Infrastructure as Code
- 데이터 웨어하우징
- auto scaling
- 분산 코디네이션
- ZNode
- 쿼럼
- CAP 정리
- 아파치 파케이
- Apache Parquet
- lz4
- Data streaming
- 카프카 도커
- Operation not permitted
- 데이터 마트
- 스노우플레이크
- 카프카 컨슈머
- Kafka producer
- rebalancing
- AWS GLUE
- On-Premise
- Terraform
- KoNLP
- event-driven
- OKR
- cap-add
- 1 page proposal
- data lake
- aws s3
- aws rds
- 아파치 쓰리프트
- apache thrift
- 앤서블
- Microservice
- docker mysql
- 적용 사례
- celery
- ansible
- permission denied
- 트리바고
- 민토 피라미드
- avro
- ON DUPLICATE KEY UPDATE
- Quorum
- upsert
- crawler
- PyPI
- redis
- 테라폼
- 데이터 시각화
- snappy
- lzo
- BigData
- Column-oriented
- kakao
- EFS
- Serializer
- REST API
- 원격 프로시저 호출
- big data
- DAG
- emr
- Snowflake
- kpl
- 슬랙
- 머신러닝
- 키네시스
- Kinesis
- Slack
- 크롤러
- packages
- 활용 사례
- checkpoint
- 파라미터
- 리밸런싱
- 메시지큐
- hdfs
- 링크드인
- 크론
- metadata
- 분산 시스템
- RDS
- executor
- 프로비저닝
- subquery
- gzip
- IAC
- Replication
- ec2
- protocol
- 컨슈머
- Remote Procedure Call
- scheduler
- 레이크하우스
- Puppet
- Ensemble
- Convention
- 신뢰성
- authentication
- ecs
- Git
- License
- cron
- insert into
- 직렬화
- Athena
- 스트리밍
- Parameter
- 스케줄러
- 오퍼레이터
- topic
- option
- 앙상블
- File Format
- kerberos
- task
- 깃
- transaction
- Guide
- json
- glacier
- 서브쿼리
- 퍼펫
- data
- 상관관계
- INSERT
- 옵션
- rpc
- timestamp
- 확장자
- 모니터링
- connector
- 메타데이터
- 시작하기
- 삽입
- 배치
- 클라우드
- shuffle
- 생성
- Cluster
- source
- 개념
- Security
- Zeppelin
- Standard
- view
- ELT
- Machine Learning
- 권한
- column
- Sensor
- 파이썬
- CPU
- 파이프라인
- 센서
- 카카오
- 스팟
- 명령어
- 뷰
- 프레젠테이션
- Ai
- 메시지
- Query
- 파티션
- 라인
- Line
- Update
- 모델
- SQL
- database
- db
- 연동
- error
- exception
- 실패
- 관리
- 데이터베이스
- 아파치
- Apache