Sparse Vector의 한계점 및 이를 보안하는 SPLADE
<aside>
🤔
CLIP이 가지는 한계점을 알아보고 이를 splade 모델을 통해 해결하는 방법을 학습한다.
</aside>
Sparse Vector
Sparse Vector 사용 이유
Sparse Vector 검색 방법: TF-IDF, BM25
Sparse Vector 한계점 - word mismatch
Splade
코드 실습
https://github.com/gyungsubLee/vector
- openai 세팅
- splade 다운 및 모델, 토크나이저 init
- sparse, dense 벡터 유사도 검색 비교