Sparse Vector의 한계점 및 이를 보안하는 SPLADE

<aside> 🤔

CLIP이 가지는 한계점을 알아보고 이를 splade 모델을 통해 해결하는 방법을 학습한다.

</aside>

Sparse Vector

Sparse Vector 사용 이유

Sparse Vector 검색 방법: TF-IDF, BM25

Sparse Vector 한계점 - word mismatch

Splade

코드 실습

https://github.com/gyungsubLee/vector

• openai 세팅
• splade 다운 및 모델, 토크나이저 init
• sparse, dense 벡터 유사도 검색 비교