데이터 엔지니어링 위클리 #9 | Vibe Coding, AI, Airbyte

Articles에어비앤비가 초당 100만 개의 이벤트로 개인화를 실현하는 방법Airbnb는 사용자 경험을 개인화하기 위해 1초에 100만 건의 이벤트를 처리하는 User Signals Platform (USP)을 운영하고 있습니다. 이 플랫폼은 사용자의 비선형적인 행동을 실시간으로 이해하고, 이를 통해 앱 내 개인화된 추천 및 고객 지원을 가능하게 합니다. 여기서는 USP의 아키텍처와 Airbnb 엔지니어링 팀이 직면한 문제들, 그리고 이를 해결하기 위한 주요 설계 결정을 다룹니다.User Signals Platform(USP)은 실시간 개인화를 위해 비선형 사용자 행동을 처리하는 시스템입니다.데이터 파이프라인과 온라인 서비스 레이어로 구성되어 있으며, Kafka와 Flink를 활용하여 1초 이내에 이벤..

Articles넷플릭스가 Maestro로 수백만 개의 작업 흐름을 어떻게 조정하는지Netflix는 데이터를 활용한 작업과 머신러닝 워크플로우를 효과적으로 관리하기 위해 Maestro라는 새로운 워크플로우 오케스트레이터를 개발했습니다. Maestro는 이전의 Meson 시스템의 한계를 극복하고, 수십만 개의 작업을 효율적으로 관리할 수 있는 분산 아키텍처를 갖추고 있습니다. 이 글은 Maestro의 설계와 개발 과정에서의 도전 과제들을 다루고 있습니다.Netflix는 Meson을 통해 70,000개의 워크플로우와 500,000개의 작업을 관리했지만, 시스템의 한계로 인해 새로운 오케스트레이터인 Maestro를 개발하게 되었습니다.Maestro는 마이크로서비스 아키텍처를 기반으로 하여 높은 신뢰성과 낮은 운..

Articles엔지니어로서 조사 문서를 활용하여 혼돈을 명확성으로 바꾸는 방법이 글은 소프트웨어 엔지니어가 문제 해결 과정에서 Investigative Docs를 활용하여 혼돈을 정리하고 명확성을 얻는 방법에 대해 설명합니다. 이를 통해 팀 내 신뢰를 구축하고 경력을 개발하는 데 도움을 줄 수 있습니다.Investigative Docs는 문제를 명확히 정의하고, 해결 과정을 문서화하여 팀원들과의 소통을 원활하게 합니다.작성된 문서는 학습 자원으로 활용되며, 향후 유사한 문제를 예방하는 데 도움을 줍니다.이 문서의 구성 요소로는 요약(TLDR), 배경, 문제 감지, 조사 단계, 해결 방법 및 배운 내용이 포함됩니다. 더보기 개요이번 글에서는 Karthik Subramanian이라는 소프트웨어 엔지니어가 제..

Articles부동산 검색에서 지식 그래프 활용이 글은 Zillow가 부동산 데이터를 구조화하고, 사용자 검색 경험을 개선하기 위해 Knowledge Graph(지식 그래프)를 어떻게 구축하고 활용하고 있는지를 설명하는 내용입니다. 다양한 데이터 출처를 연결해 사용자 맞춤형 검색, 자동완성, 추천 기능을 구현하는 방식과 기술적 구현 과정을 다룹니다.지식 그래프는 다양한 표현을 하나의 표준 개념으로 정리해 검색 일관성을 높여줍니다.Zillow는 자연어 처리(NLP), 이미지 인식, BERT 기반 모델 등을 활용하여 데이터를 정제하고 연결합니다.사용자 행동 데이터를 분석해 더 정교한 추천과 검색 결과를 제공하며, 지속적인 업데이트와 버전 관리를 통해 품질을 유지합니다. 더보기 개요인터넷 시대에는 정보가 넘쳐..

Articles왼쪽과 오른쪽으로 이동하기이 글에서는 데이터 엔지니어링의 변화와 미래 방향성을 다루고 있습니다. 특히, 데이터 엔지니어들이 '왼쪽으로 이동'하는 것뿐만 아니라, '오른쪽으로 이동'하는 경향도 있으며, 이는 데이터 품질 개선과 고객 가치 창출을 목표로 하는 새로운 데이터 작업 방식의 융합을 의미합니다.데이터 엔지니어들은 이제 더 이상 내부 IT 비용 센터로 한정되지 않고, 고객 가치 실현을 위해 다양한 역할을 수행해야 합니다.DataOps와 Data Mesh와 같은 혁신적인 개념들이 데이터 엔지니어링의 변화를 촉발하고 있습니다.데이터 엔지니어와 소프트웨어 엔지니어 간의 경계가 허물어지고 있으며, 데이터와 AI의 통합적 접근이 요구됩니다. 더보기 개요이 글에서 Joe Reis는 데이터 엔지니어..

1. PhilosophyInsights - 선언형으로 구성하여 안정성을 확보하고 운영 리소스 감소시킬 수 있다. - 데이터 제품 중심으로 만들면 가치를 중심으로 효율적으로 발전할 수 있다. - DDP 기반의 기본 구성 요소를 통해 유연하게 조합할 수 있다. - 운영체제처럼 데이터 인프라를 숨기고 사용자에 따라 다르게 활용할 수 있게 할 수 있다. - 추상화하여 빠르게 변화하는 트렌드에서도 틀을 잡을 수 있다.사용자를 정의할 수 있다. ✅ DataOS란?데이터를 위한 운영체제(OS)로, 기존 시스템을 뜯어고치는 것이 아니라, 현재의 데이터 환경을 더 유연하고 효과적으로 운영하게 도와줍니다.전통적인 테이블 중심 구조에서 벗어나, 데이터 제품(Data Products) 중심으로 진화하는 것을 의미합니다.🎯 ..