LLM의 태생적인 한계와 시스템적인 솔루션

<aside> ✏️

트랜스포머의 Attention은 병렬적으로 문장 내 모든 단어 간의 관계를 연산하기 때문에 입력 길이가 늘어날수록 이의 제곱만큼 연산량이 늘어난다.

이에 따라 입력 가능한 토큰의 수가 정해져 있으며, 실시간 학습 불가나 환각 현상과 같은 문제가 추가로 발생한다.

</aside>

1. 환각 현상

   딥러닝 모델은 학습된 데이터 이외의 정보에 취약하다.

   • 오픈AI의 모델인 GPT-5.1는 2024년 9월까지,

   • Claude Sonnet 4.5는 2025년 1월까지

     의 데이터로 학습되어, 이 이후의 정보는 알지 못합니다.

   ⇒ Finetuning, RAG, GraphRAG, AI Agent 등

2. 기억 불가

   • LLM은 사전학습 시에 받아들인 정보 외의 것은 배우지 못한다.
   • 따라서 오늘 나와 대화하고 있는 LLM은 어제 나와 대화했던 내용을 기억하지 못한다.

   ⇒ Short-term memory(세션 내 기억), Long-term memory(장기기억)

3. 토큰 제한

   • LLM은 입력값의 길이가 길어지면 계산량이 크게 늘어나, 대부분의 모델이 길이를 제한하고 있다.
   • GPT-5.1의 입력값 제한: 128,000토큰
   • Claude sonnet 4.5 입력값 제한: 200,000토큰

모델을 더 정직하게, OpenAI의 Confession 연구

<aside> ✏️

오픈AI는 LLM이 바람직하지 않은 답변을 한 경우, 이를 명확하게 인정하도록 훈련하는 Confession이라는 방법론을 공개했다.

주어진 질문에 대한 주요 답변 외에 ‘정직성’으로만 훈련되는 답변을 **강화학습**하여 Reward hacking 문제를 가시화한다.

</aside>

장기기억 정복의 실마리, 구글의 Titans

Titans: Learning to Memorize at Test Time