Articles에어비앤비가 초당 100만 개의 이벤트로 개인화를 실현하는 방법Airbnb는 사용자 경험을 개인화하기 위해 1초에 100만 건의 이벤트를 처리하는 User Signals Platform (USP)을 운영하고 있습니다. 이 플랫폼은 사용자의 비선형적인 행동을 실시간으로 이해하고, 이를 통해 앱 내 개인화된 추천 및 고객 지원을 가능하게 합니다. 여기서는 USP의 아키텍처와 Airbnb 엔지니어링 팀이 직면한 문제들, 그리고 이를 해결하기 위한 주요 설계 결정을 다룹니다.User Signals Platform(USP)은 실시간 개인화를 위해 비선형 사용자 행동을 처리하는 시스템입니다.데이터 파이프라인과 온라인 서비스 레이어로 구성되어 있으며, Kafka와 Flink를 활용하여 1초 이내에 이벤..

Articles넷플릭스가 Maestro로 수백만 개의 작업 흐름을 어떻게 조정하는지Netflix는 데이터를 활용한 작업과 머신러닝 워크플로우를 효과적으로 관리하기 위해 Maestro라는 새로운 워크플로우 오케스트레이터를 개발했습니다. Maestro는 이전의 Meson 시스템의 한계를 극복하고, 수십만 개의 작업을 효율적으로 관리할 수 있는 분산 아키텍처를 갖추고 있습니다. 이 글은 Maestro의 설계와 개발 과정에서의 도전 과제들을 다루고 있습니다.Netflix는 Meson을 통해 70,000개의 워크플로우와 500,000개의 작업을 관리했지만, 시스템의 한계로 인해 새로운 오케스트레이터인 Maestro를 개발하게 되었습니다.Maestro는 마이크로서비스 아키텍처를 기반으로 하여 높은 신뢰성과 낮은 운..

Articles넷플릭스가 하루에 1억 4천만 시간의 시청 데이터를 저장하는 방법넷플릭스가 하루에 1억 4천만 시간의 시청 데이터를 처리하고 저장하는 방법에 대해 설명하는 글입니다. 데이터 양의 폭발적인 증가로 인한 기술적 도전 과제를 극복하기 위해, 넷플릭스는 데이터 저장 아키텍처를 발전시켜 시청 기록을 효과적으로 관리하고 사용자 경험을 향상시켰습니다.넷플릭스는 초기에는 Apache Cassandra를 사용하여 데이터를 저장했으나, 데이터 양의 증가로 인해 성능 한계에 직면하였습니다.새롭게 도입된 저장 아키텍처는 시청 기록을 세 가지 카테고리(전체 제목 재생, 비디오 미리보기, 언어 선호)로 분류하고, 데이터 형태 및 나이에 따라 샤딩하여 성능을 개선하였습니다.새로운 시스템은 사용자 요구에 맞추어 데이터..

Articles⭐️ 페이스북의 수십억 개 메시지를 처리하는 Apache Cassandra 심층 분석이 글은 페이스북이 빌리언 단위의 메시지를 관리하기 위해 개발한 분산 데이터베이스 시스템인 아파치 카산드라(Apache Cassandra)에 대해 심도 있는 분석을 제공합니다. 카산드라의 구조와 작동 원리, 특히 데이터 저장 및 검색 방식에 대한 기술적인 특징을 상세히 설명하며 이를 통해 대규모 데이터 처리의 효율성을 강조하고 있습니다.아파치 카산드라는 분산 스토리지 방식으로 설계되어 있으며, 데이터의 고가용성과 내구성을 보장합니다.페이스북의 인박스 검색 기능을 지원하기 위해 특별히 고안되었으며, 수많은 메시지를 빠르게 검색할 수 있는 구조를 갖추고 있습니다.데이터 모델은 전통적인 관계형 데이터베이스와는 달..

ArticlesLLM as a Judge를 활용한 CodeBuddy 성능 평가LLM을 활용한 자동화된 코드 리뷰 평가 방식인 LLM as a Judge를 CodeBuddy에 적용하여, 코드 변경 사항을 신속하고 일관되게 분석하는 방법을 실험했습니다. 이를 통해 평가 자동화의 가능성을 확인했으나, 자기 편향(Self Bias), 장황 편향(Verbosity Bias), 위치 편향(Position Bias) 등 다양한 한계를 발견하고 이를 완화하기 위한 전략을 모색했습니다.PR 기반 코드 리뷰 평가에서 LLM을 활용하여 평가 자동화를 시도함Pointwise, Pairwise, Listwise 평가 방식 비교 및 적용LLM 평가자의 자기 편향 문제 및 이를 해결하기 위한 모델 선정 전략 검토장황 편향을 방지하..

좋은 글Trino로 타임아웃 개선하기 Trino로 타임아웃 개선하기 : NHN Cloud MeetupTrino로 타임아웃 개선하기meetup.nhncloud.comTrino와 OBS를 도입하여 1억 건 이상의 집계 쿼리 실행 시 발생하는 타임아웃 문제를 해결했고, 집계 시간이 43% 단축되며 데이터 보관 기간이 60일에서 1년으로 연장되었지만 약 100만원의 추가 비용이 발생했습니다.집계 쿼리 실행 시 목표 행(row)이 1억 건을 초과하는 문제Trino와 OBS(오브젝트 스토리지) 도입을 통해 해결집계 시간 43% 단축, 데이터 보관 기간 60일에서 1년으로 연장작성자: (NHN) 이태형 클라우드AI팀 SmartThings, OpenSearch 도입으로 성능과 비용 절감 Samsung Tech Blog..