<aside> 📖

search 이후 임베딩을 활용하는 방법을 배운다.

잘 만들어진 임베딩 모델은 굉장히 유용하며 사용될 수 있는 곳이 많다.

• [ 실습 ] 임베딩 모델을 활용하는 다양한 use case
• [ 실습 ] 임베딩 모델을 다른 ML 모델들과 같이 결합해서 활용 </aside>

Use Case 1. 사용자 의도 파악 ( ML )

<aside> 🤔

LLM을 활용한 Chatbot 과 같은 서비스를 제공할 때 사용자의 input을 pre-text로 받는 경우가 많다.

이때 이 pre-text를 어떻게 처리하는가? 부터 문제이다.

사용자의 input에 따라 그에 맞는 output을 제공할 수 있어야 하지만, 사용자가 입력하는 input은 사용자의 의도를 파악하기에 애매할 수 있다.

따라서 특정 분야에 따른 적절한 문장들을 세팅하고 유사도를 비교하여 높은 유사도를 가지는 분야로 라우팅 처리를 진행한다.

그리고 그에 맞는 올바른 질문을 LLM으로 넘겨 사용자의 의도에 맞게 응답을 도출한다

</aside>

실습

Use Case 2. 자주 묻는 질문 리스트

<aside> ✏️

1. 동일한 방식으로 자주 묻는 질문을 카테고리 별로 저장
2. Threshold를 정해서 유사한 질문 search
3. 유사한 질문과 연결된 정보 제공 </aside>

password_reset = ["What steps should I take to recover my account without access to my registered email?",
                  "Is there a way to authenticate my identity for password reset without security questions?",
                  "How can I reset my password?"]
service_request = ["Are there any special offers or discounts currently available?",
                   "How can I compare the different plans to find one that suits my needs?",
                   "Where can I see user reviews or testimonials about your services?"]

• 위와 같이 자주 묻는 질문 리스트들을 만들어 데이터셋을 구성하고 사용자의 쿼리와 유사도 값을 비교하여 적절한 클러스터링으로 분류하여 정확한 의도를 해석한다.

Use Case 3. 클러스터링

<aside> ✏️

클러스터링 분류를 통해 Vertor DB에 저장하고자 하는 컨텐츠에 대한 검수 및 전처리가 가능하다.

• 텍스트를 특징 별로 묶거나 유관하지 않다고 판단되는 텍스트는 제외하는 등, 컨텐츠 자체를 preprocessing / 탐색 하는데에 활용 </aside>

• K-Means 클러스터링

실습