• 사람의 말을 n차원의 수치형 벡터로 표상화시키는 형태의 데이터
• 단순히 텍스트 → 숫자 매핑이 아닌 해당 언어가 가지는 의미적 컨텍스트를 나타냄
• 의미적(본질적)으로 유사한 단어, 문장, 문단, 문서 검색에 쓰임

<aside> 🤔

같은 단어라도 관점에 따라서 유사성이 달라진다.

• 과일 관점: Apple 과 Pineapple 이 더 유사하다.
• IT 관점: Apple 과 Microsoft가 더 유사하다.

이는 단어의 맥락을 파악해야 알 수 있다.

단어의 앞, 뒤 즉, 문장을 통해 해당 단어가 어떤 관점에서 사용되는지 파악할 수 있다.

</aside>

<aside> ✏️

단어의 맥락을 파악하기 위해서는 단어 임베딩보다 더 위 차원의 레벨 단위인 문장 임베딩으로 올림으로써 관점 즉, 단어 맥락 고려가 가능하다.

</aside>

1. Counter Vectorizer, TF-IDF
   • 초기 단계(early stage)
   • sparse vector → 관점적인 파악 X
2. Word2Vec
   • 의미를 부여했으나 여전히 문맥 파악 X
3. Transformer
   • 사용자의 관점을 문맥으로부터 유추