데이터 엔지니어링 위클리 #4 | LLM, AI, Netflix, Airbnb
Articles넷플릭스가 하루에 1억 4천만 시간의 시청 데이터를 저장하는 방법넷플릭스가 하루에 1억 4천만 시간의 시청 데이터를 처리하고 저장하는 방법에 대해 설명하는 글입니다. 데이터 양의 폭발적인 증가로 인한 기술적 도전 과제를 극복하기 위해, 넷플릭스는 데이터 저장 아키텍처를 발전시켜 시청 기록을 효과적으로 관리하고 사용자 경험을 향상시켰습니다.넷플릭스는 초기에는 Apache Cassandra를 사용하여 데이터를 저장했으나, 데이터 양의 증가로 인해 성능 한계에 직면하였습니다.새롭게 도입된 저장 아키텍처는 시청 기록을 세 가지 카테고리(전체 제목 재생, 비디오 미리보기, 언어 선호)로 분류하고, 데이터 형태 및 나이에 따라 샤딩하여 성능을 개선하였습니다.새로운 시스템은 사용자 요구에 맞추어 데이터..
2025.03.26