https://drive.google.com/drive/u/0/folders/1fUiElewCAgFbb5yPV_q1QhzyHHS0kpbX

PEFT ( Parameter Efficient Fine Tuning )

<aside> 📖

학습 데이터셋이 변경되는 경우, 이전에 학습한 파라미터 값들이 의미없게 된다.

이를 해결하기 위해 풀 파인튜닝이 아닌 일부 파인튜닝 작업만을 진행하는 방법론이 나왔다.

• 일부 파라미터 값만을 업데이트하고 나머지 고정(Freeze)

• 모든 파라미터의 Gradient를 저장할 필요가 없어 VRAM 소모가 감소된다 </aside>

• 장점

• ex) 7B Model + LoRA

• HuggingFace PEFT 라이브러리

대표적인 PEFT 기법: LoRA

<aside> 📖

LoRA ( Low Rank Adaptation Fine Tuning )

LLM을 새로운 task나 도메인에 맞게 효율적으로 미세조정(fine-tuning)하기 위한 기법이다.

사전학습된 가중치(W)는 그대로 두고, 그 위에 ‘작고 저차원인 어댑터 행렬’만 추가로 학습하는 것이 핵심 아이디어다.

https://arxiv.org/pdf/2106.09685

• 가장 대표적인 PEFT 방법
• 모델의 각 Layer에서(Q,K,V 등) 기존 Weight W는 그대로 두고 두개의 행렬(Adapter)를 추가
• 수식: $h = Wx → h = (W + BA)x$
  • 학습 그래디언트를 A,B에만 계산하고 업데이트 </aside>

<aside> 📄

논문: LoRA: Low Rank Adaptation of Large Language Models

• github </aside>

• 주요 내용