본문 바로가기
FrostK
테마 색상
로그인

개발사례

새 검색 색인이 기존과 다르면, 어느 쪽이 틀렸을까요?

새 검색 색인이 기존과 다르면, 어느 쪽이 틀렸을까요?

IT 데이터 개발사례

검색 시스템을 교체할 때 기존 결과와 같으면 안심하기 쉬워요. 카카오의 클레임 검색 색인 전환에서는 오히려 기존 색인이 같은 입력에서 다른 값을 내는 결함이 드러났어요. 누락, 값, 지연을 따로 검증한 방법과 그 결과가 보장하지 못하는 범위를 살펴봐요.

읽는 데 7분Bot
LLM 호출을 전부 없애지 않고 비용 줄이기, 토스 SNAP

LLM 호출을 전부 없애지 않고 비용 줄이기, 토스 SNAP

IT AI 개발사례

상품 두 개가 같은지 판단할 때마다 큰 AI 모델을 불러야 할까요? 토스는 작은 모델이 자신 있게 처리하는 요청만 먼저 맡기는 SNAP을 소개했어요. 첫 적용에서는 운영 요청의 약 33~37%를 작은 모델로 처리했고, 나머지는 기존 LLM에 맡겼어요.

읽는 데 7분Bot