데이터 엔지니어링 kafka 카프카 Data engineering AWS spark 데이터 엔지니어 스파크 데이터 spark streaming docker airflow delta lake Data Engineer 에어플로우 Redshift s3 MySQL 레드시프트 카프카 구축 스파크 스트리밍 Parquet 데이터 웨어하우스 Zookeeper Data Warehouse data engineering weekly 델타레이크 컬럼 기반 Schema Registry 대용량 처리 kafka rest api confluent 카프카 프로듀서 파케이 rdb 도커 쓰리프트 thrift 빅데이터 UTC presto etl consumer BATCH streaming 브로커 KST Producer 주키퍼 operator 프로듀서 Python 업데이트 클러스터 압축 late-arriving data 데이터 제품 스파크 최적화 synthetic data sqlmesh 데이터 엔지니어링 위클리 delta.io 데이터 레이크하우스 data-lakehouse Data Lineage dbt chat-gpt-4 Destination Certification open ai Chat GPT _delta_logs Delta Actions Commitinfo 델타레이크 프로토콜 델타레이크 테이블 Delta lake table 데이터레이크하우스 distributed query engine 분산 쿼리 Data Enigneering Trino 커버로스 writeStream checkpointLocation Multiple streaming jobs detected AssertionError 스파크 체크포인트 failOnDataLoss 스파크 에러 spark error Cannot find earliest offsets 스파크 메모리 스파크 설정 spark configuration 스파크 카프카 연동 스파크 카프카 통합 spark streaming kafka integration Writing job aborted hdfsadmingroup dfs.permissions.superusergroup AccessControlException local executor airflow worker airflow cluster ksqlDB confluent rest proxy confluent platform AWS Athena 연합 쿼리 federated query 레드시프트 기본 키 열 기반 Database Cluster AWS Redshift pypicloud s3 backend private pypi 스키마 레지스트리 도커 스키마 관리 스키마 레지스트리 Trivago Kafka 사례 Kafka 적용 사례 카프카 사례 카프카 적용 사례 Neha Narkhede 네하 나크헤데 카프카 토픽 이름 규칙 이름 규칙 네이밍 컨벤션 kebab case Kafka Topic Naming Convention Kafka Topic 압축 방식 zstd brotil S3 Sink Connector Kafka S3 연동 카프카 커넥터 Kafka Connector Kafka Connect 태스크플로우 taskflow 실행 날짜 시작 날짜 start_date execution_date Databricks BashOperator no module named apache-airflow-providers-slack 오픈소스 워크플로우 관리 플랫폼 on failure Data Firehose Data Streams mbind sys_nice Correlated subquery pattern AWS Example AWS 컴퓨팅 AWS 스팟 인스턴스 EC2 요금 절약 Spot Instance Spot Fleet 서브모듈 명령어 한 번에 실행하기 서브모듈 업데이트 서브모듈 추가하기 git submodule 서브모듈 at-latest-once exactly-once 카프카 내부 카프카 개념 데이터 가져오기 polling loop 폴링 루프 Spark Machine Learning 스파크 머신러닝 프로토콜 버퍼 에이브로 Protocol Buffers Kafka Python 카프카 파이썬 명사 추출 Kafdrop 카프카 UI 카프카 GUI Kafka GUI broekr.id 카프카 클러스터 server.properties kafka config 카프카 설정 카프카 브로커 카프카 구성 카프카 설치 Kafka Zookeeper Kafka Docker 주키퍼 앙상블 코드로서의 인프라 Infrastructure as Code 데이터 웨어하우징 auto scaling 분산 코디네이션 ZNode 쿼럼 CAP 정리 아파치 파케이 Apache Parquet lz4 Data streaming 카프카 도커 Operation not permitted 데이터 마트 스노우플레이크 카프카 컨슈머 Kafka producer rebalancing AWS GLUE On-Premise Terraform KoNLP event-driven OKR cap-add 1 page proposal data lake aws s3 aws rds 아파치 쓰리프트 apache thrift 앤서블 Microservice docker mysql 적용 사례 llm celery ansible permission denied 트리바고 민토 피라미드 avro ON DUPLICATE KEY UPDATE Quorum upsert crawler PyPI redis 테라폼 데이터 시각화 snappy lzo BigData Column-oriented kakao EFS Serializer REST API 원격 프로시저 호출 big data DAG emr Snowflake kpl 슬랙 머신러닝 키네시스 Kinesis Slack 크롤러 packages 활용 사례 checkpoint 파라미터 리밸런싱 메시지큐 hdfs 링크드인 크론 metadata 분산 시스템 RDS executor LinkedIn 프로비저닝 subquery gzip IAC Replication ec2 protocol 컨슈머 Remote Procedure Call scheduler 레이크하우스 Puppet Ensemble Convention 신뢰성 authentication ecs Git License cron insert into 직렬화 Athena Weekly 스트리밍 Parameter 스케줄러 오퍼레이터 topic option 앙상블 File Format kerberos task 깃 transaction Wanted Guide json glacier 서브쿼리 퍼펫 data 상관관계 INSERT 옵션 rpc timestamp 확장자 모니터링 connector 메타데이터 시작하기 삽입 배치 클라우드 shuffle 생성 Cluster source 개념 Security Zeppelin Standard view ELT Machine Learning 권한 column Sensor 파이썬 platform CPU NewS 파이프라인 센서 카카오 스팟 명령어 뷰 프레젠테이션 Ai 메시지 Query 파티션 라인 Line Update 모델 SQL database db 연동 error exception 실패 관리 데이터베이스 아파치 Apache