상품 추천 시스템

<aside> ✏️

프로젝트 목표

• 사용자들 query의 뉘앙스 및 요구사항을 semantic한 표현으로 변환
• 다양한 서치 방법 활용 - 자세한 내용은 0. 아키텍처 참조 </aside>

0. 아키텍처

1. 데이터셋(Fashionpedia) 소개

1.2. 데이터셋(FashionPedia) 세팅 및 전처리

2. Sparse Vector의 한계점 및 이를 보안하는 SPLADE

3. 벡터 DB 구축 - CLIP, SPLADE 임베딩 및 Pinecone 저장

4. 3가지 기본 유사도 검색 시스템 구축 (출력값 확인)

5. Input Gateway, Text Search

6. Image Search 1

6.2 Image Search 2

7. Multi Modal(Text + Image) Search

8. 추천 코디 이미지 생성

9. 통합 정리

10. 비용 관리 - 토큰 사용량 추적

<aside> 🤔

생각보다 검색하여 가져오는 이미지가 연관성이 없다.

• 추정 원인1: 구성한 데이터셋의 이미지 데이터 자체에 연관성 부족
  • 파인튜닝된 CLIP(fashion-clip)은 로컬에서 진행 불가 (메모리 부족)
  • 따라서 코랩으로 환경을 변경하여 실습을 진행함, 이때 이미지 데이터셋이 다 업로드 되지 않았음
• 추정 원인2: 데이터 전처리 잘못함
  • 데이터 전처리 과정에서 누락된 부분이 있어서 자체적으로 더미 데이터를 만들고 진행했다. 아마 여기서 카테고리 메타데이터 설정이 잘못된 것 같다.

→ 진행하고 있는 데이터 분석 공부를 끝내고 재실습 진행

</aside>