Open-Weight Models

<aside> 📖

구조와 파라미터가 공유되어 자유롭게 사용 가능한 모델들을 말한다.

일반적으로 Open-Weight, Open-Sourced, Open LLM을 혼용하여 부른다.

• ↔️: Closed Source LLM </aside>

• LLaMA ( Meta )

• Phi-3 ( Microsoft )

• Gemma ( Google )

• Mistral ( 프랑스 AI 기업 )

• Qwen & Aya ( 다국어 지원 모델 )

• SOLAR & EEVE ( 국내 개발 모델 )

<aside> 💬

Open LLM 발전 방향 정리

• 경량화 + 효율화

  

  https://arxiv.org/pdf/2305.13245

  • 하나의 모델을 다양한 파라미터 크기로 배포
  • GQA 등을 활용한 추론 속도 향상

• 다국어 / 비전 지원

  • 다국어 데이터를 늘리거나 (Aya), 비영어 토크나이징 방법을 개선 (LLaMA 3, EEVE)
  • 비전 모델을 결합하여 비전 능력 제시 (PailGemma, Phi-3-Vision) </aside>