레거시 추천 시스템, 왜 한계에 부딪히는가
대규모 서비스에서 추천 시스템은 핵심 비즈니스 로직과 직결된다. DoorDash는 기존의 원샷 예측(one-shot prediction) 방식, 즉 단일 모델이 한 번의 추론으로 결과를 내놓는 구조를 오랫동안 운영해왔다. 이 방식은 구현이 단순하고 레이턴시 관리가 용이하지만, 사용자 컨텍스트를 충분히 반영하지 못하고 카탈로그가 방대해질수록 표현력이 급격히 저하된다.
단일 예측 모델은 사용자의 과거 행동, 현재 의도, 상황적 맥락을 동시에 처리하기 어렵다. 수십만 개 이상의 상품이 존재하는 카탈로그에서는 아이템 간 의미적 유사성을 제대로 학습하지 못하고, 결국 추천 품질과 전환율이 정체되는 현상이 나타난다. DoorDash가 이 한계를 인식하고 아키텍처 전환을 결정한 배경이 바로 여기에 있다.
RQ-VAE 기반 시맨틱 ID와 에이전틱 아키텍처
DoorDash가 선택한 핵심 기술 중 하나는 RQ-VAE(Residual Quantized Variational Autoencoder) 기반 시맨틱 ID다. 기존에는 각 상품에 단순한 정수형 ID를 부여했지만, 이 방식은 아이템 간의 의미적 관계를 전혀 담지 못한다. RQ-VAE는 상품의 속성, 카테고리, 텍스트 정보 등을 압축하여 계층적 코드 시퀀스로 변환하고, 유사한 상품끼리 의미적으로 가까운 ID를 갖도록 한다.
# 개념적 구조 (의사 코드)
item_embedding = encoder(item_features) # 텍스트, 카테고리, 이미지 등
semantic_id = rq_vae.quantize(item_embedding)
# → [code_1, code_2, code_3] 형태의 계층적 표현
이를 통해 모델은 "치킨 버거"와 "불고기 버거"가 의미적으로 유사하다는 사실을 ID 레벨에서 인식할 수 있게 된다. 대규모 카탈로그에서 추천 품질을 높이는 데 결정적인 역할을 한다.
동시에 DoorDash는 단일 모델 구조에서 에이전틱 파이프라인으로 전환했다. 여러 전문화된 컴포넌트가 순차적·병렬적으로 협력하며 추천을 생성하는 구조로, 사용자 메모리 모듈, 검색(retrieval) 모듈, 랭킹 모듈이 각각 역할을 분담한다.
사용자 메모리와 그라운디드 검색의 결합
에이전틱 아키텍처에서 특히 주목할 부분은 언어 네이티브 사용자 메모리(language-native consumer memory) 다. 사용자의 주문 이력, 선호도, 행동 패턴을 단순한 벡터가 아닌 자연어에 가까운 형태로 요약하여 저장하고, 이를 추천 컨텍스트로 활용한다. 정형화된 피처 엔지니어링 없이도 사용자 의도를 풍부하게 표현할 수 있다.
그라운디드 검색(grounded search) 은 이 메모리와 결합하여 실시간으로 관련 아이템을 검색하는 역할을 한다. 단순한 인기도 기반 후보군 생성이 아니라, 현재 사용자 컨텍스트에 맞는 의미적 검색을 수행하여 후보 품질 자체를 높인다.
// 실무 유사 패턴: 컨텍스트 기반 추천 요청
RecommendationRequest request = RecommendationRequest.builder()
.userId(userId)
.userMemory(memoryService.retrieve(userId)) // 사용자 메모리 주입
.sessionContext(session.getCurrentContext()) // 현재 세션 컨텍스트
.catalogSearchResult(searchService.groundedSearch(query)) // 그라운디드 검색 결과
.build();
List<Item> recommendations = rankingService.rank(request);
이러한 구조 변화는 단순한 모델 교체가 아니라, ML 파이프라인 전체의 책임 분리와 점진적 전환 전략을 필요로 한다. DoorDash는 레거시 시스템과 신규 아키텍처를 병행 운영하며 A/B 테스트로 전환율과 관련성 지표를 검증하는 방식을 택했다.
정리
- RQ-VAE 시맨틱 ID는 대규모 카탈로그에서 아이템 간 의미적 관계를 ID 레벨에서 표현하여 추천 품질을 근본적으로 개선한다.
- 에이전틱 파이프라인은 메모리, 검색, 랭킹 컴포넌트를 분리함으로써 각 단계의 책임을 명확히 하고 확장성을 확보한다.
- 레거시 ML 시스템 전환 시 빅뱅 교체보다 점진적 병행 운영과 지표 기반 검증이 실무에서 훨씬 안전한 전략이다.