<aside>

목차

</aside>

애널라이저 (Analyzer)


<aside> 📖

이전 챕터에서 productsname 필드값을 토큰(token)으로 분리해 역인덱스(Inverted Index)로 저장하는 과정을 살펴봤다.

image.png

이때, 문자열(text) 토큰 변환 등의 전처리 과정들을 담당하는 계층을 **애널라이저(Analyzer)**라고 한다.

</aside>

캐릭터 필터(character filter)

토크나이저(tokenizer)

토큰 필터(token filter)