CNN ( Convolutional Neural Network )

<aside> 🤔

CNN 알고리즘이 등장하기 전에는 앞 챕터에서 학습 했듯이

이용해 이미지를 표현했다.

그러나 이러한 수작업 특징(hand-crafted feature) 기반 방식에는 다음과 같은 단점이 있다

이러한 한계를 극복하기 위해 심층 신경망(DNN)을 이용해 특징 자체를 학습하려는 시도가 등장했고, 그 대표적인 구조가 합성곱 신경망(CNN)이다.

CNN은 이미지의 저수준(에지)부터 고수준(객체)까지의 표현을 데이터로부터 자동으로 학습함으로써, 전통적인 수작업 특징 설계의 부담을 크게 줄이고 다양한 비전 과제에서 높은 성능과 일반화 능력을 보여준다

</aside>

<aside> 📖

이미지 데이터로부터 의미있는 특징을 자동으로 추출 및 학습하여 인간의 개입을 최소화하는 형태로 다양한 이미지에 대한 일반화 가능한 성능을 보장하는 딥러닝 알고리즘
Computer Vision(CV) 분야의 혁신을 이끈 모델로 이미지 인식, 객체 인식, 이미지 세그멘테이션 등 이미지 관련 다양한 분야에서 사용됨 </aside>

<aside> 📄

정리

실습을 통해, 일반적인 분류 성능 면에서 AlexNet보다 우수한 ResNet을 사용했음에도 불구하고, 신발 유사도 검색에서는 기대만큼 좋은 결과를 얻지 못했다.

이는 더 깊고 성능이 좋은 모델이라고 해서, 우리가 개발하는 특정 어플리케이션에 자동으로 잘 맞는 것은 아니라는 점을 보여준다.

이번 실습에서 유사도 검색 성능이 좋지 않았던 주된 이유는 두 가지다.

첫째, 모델이 학습된 데이터셋이 현재 task(신발 유사도 검색)에 적절하지 않았다. 동물이나 일반 사물 등 약 1K 클래스에 대해 학습된 모델은, 신발 브랜드·디자인 간의 미세한 차이를 구분하는 데 최적화되어 있지 않다.
둘째, 검색에 사용한 이미지들이 배경·구도·스케일 등에서 서로 다른 조건을 갖고 있었기 때문에, 네트워크가 신발보다 주변 요소에 더 민감하게 반응했을 가능성이 크다. 신발 자체의 유사도를 비교하고자 한다면, 신발 영역만을 중심으로 크롭하고, 해상도·비율을 맞추는 등의 전처리를 통해 쿼리와 DB 이미지의 조건을 최대한 통일해 주어야 한다.

이러한 문제를 개선하기 위해서는, ImageNet처럼 매우 다양한 카테고리에 대해 학습된 범용 모델보다는, 신발·의류 등 우리가 사용하고자 하는 이미지 컨텍스트와 동일하거나 유사한 도메인에서 학습된 모델을 활용하는 것이 바람직하다.

또는 ImageNet으로 사전학습된 모델을 백본으로 사용하되, 우리가 수집한 신발 이미지 데이터로 파인튜닝하여 임베딩이 해당 도메인에 맞게 재학습되도록 할 수 있다.

과거에는 직접 TensorFlow나 PyTorch로 네트워크 아키텍처를 구성하고, dropout, batch normalization, optimizer, 각종 하이퍼파라미터를 세밀하게 조절해야 했다.
하지만 요즘에는 이런 요소들을 잘 캡슐화한 라이브러리와 래퍼 클래스, 그리고 다양한 사전학습 모델들이 공개되어 있어, 많은 경우 아키텍처 설계보다는 “어떤 사전학습 모델을 어떤 방식으로 가져와 쓸 것인가”가 더 중요한 문제가 되었다.

ML 엔지니어가 아닌 사용자 입장에서는, 허깅페이스와 같은 레포지터리에서 태스크와 도메인에 맞는 적절한 모델을 고르고, 필요에 따라 자신의 데이터로 간단한 파인튜닝까지 수행하는 능력이 실질적인 성능에 큰 영향을 준다.

따라서 자주 레포지터리를 탐색하며 모델을 시험해 보고, 적절한 데이터셋을 찾아 특화 파인튜닝을 진행하는 것을 권장한다.

</aside>