Word2Vec

<aside> 📖

Word2Vec은 최초는 아니지만, 가장 먼저 대중적으로 각광을 받은 Dense Embedding Model이다.

• 말 그대로, ‘단어’를 vector로 변환하는 모델로써 단어의 의미를 여러 차원에 분산하여 표현하는 구조를 가진다. 즉, 문맥상 비슷한 위치에 있는 단어들은 비슷한 의미를 가진다.
  • ex)
• **두가지 학습 방식(CBOW, Skip-Gram)**으로 모델 학습 시킨다. </aside>

<aside> ❗

Word2Vec의 한계점

1. 문맥 무시
   • 같은 표현이라도 주변 문맥에 따라 의미가 달라지지만, 이에 대한 고려가 없음
   • ex)
2. 다의성 해결불가
   • 단어 단위의 임베딩이다 보니, 같은 단어인데 다른 의미를 가지는 다의성 보유 단어들에 대한 고려 없이 하나당 한개의 벡터로만 표현됨
3. 장기 의존성 문제
   • 학습 특성상 주변 단어들에 의존적이며, 멀리 떨어졌지만 의존성을 가질 수 있는 경우 고려하지 못함 </aside>

• 의미상으로 유사한 단어들은 vector space 내에서 가까운 곳에 위치한다.

Word2Vec 학습 메커니즘

<aside> 📖

Word2Vec 학습 메커니즘

1. CBOW(Continuous Bag of Words): 주변 단어 → 중심 단어 예측
2. Skip-Gram: 중심 단어 → 주변 단어 예측 </aside>

<aside>

두 방식 모두 input 데이터에 Sliding Window를 적용시켜 학습 데이터셋을 만든다.

• 지정된 윈도우의 크기만큼 중심 단어 와 주변단어의 토큰들을 계속 움직여 주면서 학습 데이터로써 Feed in을 시키는 것을 뜻한다. </aside>

• Sliding Window

• CBOW (Continuous Bag of Words)

• Skip-Gram

• 학습 에서의 주요 지점

• 실습