Articles데이터 엔지니어링에서 스키마 진화를 이해하기데이터 구조는 시간이 지나면 바뀝니다. 이 글은 이런 변화를 받아들이고 처리하는 스키마 진화(Schema Evolution)를 다룹니다. 요즘 데이터 시스템은 처음부터 변화를 전제로 설계해 예전 시스템의 경직성을 벗어났다는 내용입니다.스키마 진화는 데이터 파이프라인이나 데이터베이스가 데이터 구조의 변화에 대응하는 능력입니다.예전 시스템은 구조가 조금만 바뀌어도 문제가 생겼지만, 데이터 레이크와 델타 레이크 기반 시스템은 이런 변화를 무리 없이 처리합니다.실시간 스트리밍과 끊임없이 바뀌는 데이터 소스로 인해 스키마 진화가 점점 중요해지고 있습니다. 더보기 개요데이터 엔지니어링의 강점은 끊임없이 변하는 데이터를 실시간으로 다룬다는 데 있습니다. 그런데..

Articles에어비앤비가 초당 100만 개의 이벤트로 개인화를 실현하는 방법Airbnb는 사용자 경험을 개인화하기 위해 1초에 100만 건의 이벤트를 처리하는 User Signals Platform (USP)을 운영합니다. 사용자의 비선형적인 행동을 실시간으로 파악하고, 이를 바탕으로 앱에서 개인화된 추천과 고객 지원을 제공합니다. 이 글은 USP의 아키텍처와 Airbnb 엔지니어링 팀이 겪은 문제, 이를 해결하기 위한 주요 설계 결정을 다룹니다.User Signals Platform(USP)은 실시간 개인화를 위해 비선형 사용자 행동을 처리하는 시스템입니다.데이터 파이프라인과 온라인 서비스 레이어로 구성되며, Kafka와 Flink로 1초 안에 이벤트를 처리합니다.사용자 신호는 기본 사용자 신호와 조..

Articles넷플릭스가 Maestro로 수백만 개의 작업 흐름을 어떻게 조정하는지Netflix가 데이터 작업과 머신러닝 워크플로우를 관리하기 위해 Maestro라는 워크플로우 오케스트레이터를 새로 만들었습니다. Maestro는 이전 시스템인 Meson의 한계를 극복하고, 수십만 개 작업을 처리하는 분산 아키텍처를 갖췄습니다. 이 글은 Maestro의 설계와 개발 과정에서 부딪힌 문제를 다룹니다.Netflix는 Meson으로 70,000개의 워크플로우와 500,000개의 작업을 관리했습니다. 하지만 시스템 한계에 부딪혀 새 오케스트레이터 Maestro를 만들었습니다.Maestro는 마이크로서비스 아키텍처를 바탕으로 높은 신뢰성과 낮은 운영 부담을 유지하며 다양한 사용자 요구를 충족합니다.작업 파라미터화,..

Articles엔지니어로서 조사 문서를 활용하여 혼돈을 명확성으로 바꾸는 방법소프트웨어 엔지니어가 문제를 풀 때 Investigative Docs로 혼란스러운 상황을 정리하고 문제를 명확히 파악하는 방법을 다룬 글입니다. 이 문서는 팀 안에서 신뢰를 쌓고 경력을 쌓는 데도 도움이 됩니다.Investigative Docs는 문제를 분명히 정의하고 해결 과정을 문서로 남겨 팀원과 원활하게 소통하도록 돕습니다.작성한 문서는 학습 자료가 되고, 나중에 비슷한 문제를 막는 데도 쓰입니다.문서는 요약(TLDR), 배경, 문제 감지, 조사 단계, 해결 방법, 배운 내용으로 구성됩니다. 더보기 개요이번 글은 소프트웨어 엔지니어 Karthik Subramanian이 제안하는 "조사 문서(Investigation Docs..

Articles부동산 검색에서 지식 그래프 활용Zillow가 부동산 데이터를 구조화하고 검색 경험을 개선하기 위해 Knowledge Graph(지식 그래프)를 만들고 활용하는 방법을 설명한 글입니다. 여러 데이터 출처를 연결해 맞춤 검색, 자동완성, 추천 기능을 구현하는 과정과 기술을 다룹니다.지식 그래프는 여러 표현을 하나의 표준 개념으로 묶어 검색의 일관성을 높입니다.Zillow는 자연어 처리(NLP), 이미지 인식, BERT 기반 모델로 데이터를 정제하고 연결합니다.사용자 행동 데이터를 분석해 추천과 검색 결과를 정교하게 다듬고, 지속적인 업데이트와 버전 관리로 품질을 유지합니다. 더보기 개요인터넷에는 정보가 넘치지만, 이를 잘 정리해 필요한 사람에게 쉽게 전달하는 일은 여전히 어렵습니다. 이 문제..

Articles왼쪽과 오른쪽으로 이동하기데이터 엔지니어링이 어떻게 바뀌고 있으며 앞으로 어디로 향하는지 다룬 글입니다. 데이터 엔지니어가 '왼쪽으로 이동'하는 동시에 '오른쪽으로 이동'하는 흐름도 나타납니다. 데이터 품질을 높이고 고객 가치를 만드는 방향으로 데이터 작업 방식이 합쳐지고 있다는 뜻입니다.데이터 엔지니어는 이제 내부 IT 비용 센터를 벗어나 고객 가치를 만드는 여러 역할을 맡아야 합니다.DataOps와 Data Mesh 같은 새로운 개념이 데이터 엔지니어링의 변화를 이끌고 있습니다.데이터 엔지니어와 소프트웨어 엔지니어의 경계가 허물어지면서 데이터와 AI를 함께 다루는 접근이 필요해지고 있습니다. 더보기 개요Joe Reis가 데이터 엔지니어링의 최근 변화를 다룬 글입니다. 데이터 팀이 단순한..