
<aside>
✏️
-
- 텍스트
-
- 이미지
-
- 멀티모달 ( 텍스트 & 이미지 )
단순 텍스트 검색에서 멀티모달 형태로 검색을 진행하여 더 구체적 or 개인적인 아이템 검색 가능
</aside>
기본 셋업
- 의존성 설치 및 import
- 구글 드라이브 마운트
- openai key
- 벡터DB(파인콘) 연결
- CLIP 모델
- Splade 모델
- YOLO 모델
- 유틸함수 import
- 로컬 db(csv 파일)
실습
1. input query
**2. 사용자이미지 쿼리를 통한 이미지 유사도 검색 및 리랭킹
( Item level sequential search )**
text embeddings + image embeddings -> text search