새 검색 색인이 기존과 다르면, 어느 쪽이 틀렸을까요?
검색 시스템을 교체할 때 기존 결과와 같으면 안심하기 쉬워요. 카카오의 클레임 검색 색인 전환에서는 오히려 기존 색인이 같은 입력에서 다른 값을 내는 결함이 드러났어요. 누락, 값, 지연을 따로 검증한 방법과 그 결과가 보장하지 못하는 범위를 살펴봐요.
읽는 데 7분
IT데이터개발사례
검색 시스템을 교체할 때 기존 결과와 같으면 안심하기 쉬워요. 카카오의 클레임 검색 색인 전환에서는 오히려 기존 색인이 같은 입력에서 다른 값을 내는 결함이 드러났어요. 누락, 값, 지연을 따로 검증한 방법과 그 결과가 보장하지 못하는 범위를 살펴봐요.
상품 두 개가 같은지 판단할 때마다 큰 AI 모델을 불러야 할까요? 토스는 작은 모델이 자신 있게 처리하는 요청만 먼저 맡기는 SNAP을 소개했어요. 첫 적용에서는 운영 요청의 약 33~37%를 작은 모델로 처리했고, 나머지는 기존 LLM에 맡겼어요.