이번 협업으로 GS숍은 영상의 내용과 맥락을 AI로 분석해 상품 추천에 반영하는 시스템을 구축했다. 50:50 A/B 테스트 결과, 기존 대비 주문 고객 수는 57.5%, 구매 전환율은 29.4%, 클릭 순방문자는 21.7% 증가했으며 평균 시청 시간도 6.3초에서 8.0초로 늘었다.
기존 추천 방식은 상품 정보 기준이어서 고객이 실제로 반응한 장면이나 특징을 반영하기 어려웠다. 이에 이창민 GS숍 검색추천파트 파트장은 “고객이 클립에 반응하는 이유를 시스템이 이해하지 못하는 것 자체가 문제의 본질이었다”고 설명했다.
GS숍은 기존 엔진을 바꾸는 대신 영상 맥락 신호를 레이어로 추가하는 하이브리드 아키텍처를 선택했다. 이를 통해 워킹화 영상을 본 고객에게 통기성, 착화감, 야외 활동 등의 맥락을 분석해 레깅스나 바람막이 등 다른 카테고리의 상품 영상까지 확장 추천할 수 있게 됐다.
이번 시스템은 아마존 베드록(Amazon Bedrock)을 통해 구축돼 별도 인프라 없이 상용 적용됐다. 페가수스 모델이 30초 분량의 숏픽 클립에서 기능성, 스타일 등 주요 포인트를 추출해 추천에 활용한다.
검증 단계에서는 마렝고 모델을 통한 영상 검색 기능도 확인했다. “쇼핑호스트가 수육에 김치 한 점을 올려 젓가락으로 맛있게 집어먹는 모습” 같은 복합적인 문장으로 검색 시 1시간 분량의 방송에서 해당 장면을 수초 내에 찾아냈다. 이로 인해 기존 1~2시간씩 걸리던 클립 검색과 검수 시간이 단축돼 운영 효율이 개선됐다.
이창민 GS숍 검색추천파트 파트장은 “트웰브랩스의 영상 이해 기술은 원하는 장면을 수초 만에 찾아낼 만큼 높은 정확도를 보여줬다”며 “GS숍은 해당 기술을 기반으로 영상 속 맥락을 고객 행동 데이터와 결합하고, 이를 실제 추천 신호로 전환하는 고도화 작업에 집중할 수 있었다”고 말했다.
이재성 트웰브랩스 대표는 “이번 협업은 영상을 단순한 콘텐츠가 아니라 고객의 관심과 의도를 담은 데이터로 활용할 수 있음을 보여준 사례”라며 “특히 영상 속 맥락을 실제 추천 성과로 연결했다는 점에서 커머스 분야에서 영상 AI가 만들어낼 수 있는 비즈니스 가치를 수치로 입증했다는 의미가 있다”고 밝혔다.
