[서베이 정리] Visual Anomaly Detection for Images: A Survey

• 지도
• 비지도

시각적 탐지 세부 수준

• 이미지 수준: 전체 이미지가 정상인지 비정상인지에 대한 질문에 초점
• 픽셀 수준: 이미지 내의 비정상적인 영역을 감지하거나 위치를 파악

점차 딥 컨볼루션 네트워크의 강력한 표현 능력을 시각적 이상 탐지 문제와 결합하는 문제에 주목하고, 최종적으로 종단 감지 접근 방식을 개발

III. IMAGE-LEVEL VISUAL ANOMALY DETECTION

비지도 이미지 수준 이상 탐지 방법

A. 밀도 추정

• 먼저 정상 이미지나 특징의 확률 분포 모델을 추정한 후, 새로 관찰된 이미지가 이상인지 정상인지를 확인하고 식별하기 위해 설정된 분포에 대해 테스트
• 테스트 이미지나 이미지 특징이 정상 이미지 샘플로 추정된 확률 분포 모델과 일치하지 않는 경우, 이를 이상으로 분류
• 가우시안 모델 및 가우시안 혼합 모델 [10], [11], 최근접 이웃 및 커널 밀도 추정 방법과 같은 비모수 추정 방법 ⇒ 많은 수의 훈련 샘플이 필요

C. 이미지 재구성(auto-encoder젤 많이사용)

• 재구성 기반 이상 탐지 방법은 정상 이미지의 재구성 오류가 작고 이상 이미지의 재구성 오류가 크다고 가정

• 중복 압축과 중복 분리

• 고차원 데이터의 이상 탐지를 위해 딥 오토인코더

• 성능 향상

  • 잠재 공간의 분포와 오토인코더의 재구성 오류를 동시에 활용하여 재구성 기반 모델의 이상 탐지 성능을 더욱 향상

    • 잠재 공간 분포

      • 잠재 공간 분포: 가우시안 혼합 모델
      • 잠재 코드의 확률 분포: 자기 회귀 신경망으로 모델링
      • 잠재 코드에 메모리 유닛을 도입하고, 몇 개의 특징 메모리 유닛을 사용하여 잠재 분포를 표현

    • 오토인코더의 재구성 오류 활용

      • 이미지 재구성의 난이도를 증가

        • 색상 제거 또는 기하학적 변형 → 변환된 불완전한 입력 이미지를 사용하여 원래의 입력 이미지를 재구성하도록 훈련 (재구성 오류가 보통 큼)

          → 정상 이미지와 이상 이미지 사이의 차이를 효과적으로 증가시킬 수 있으며, 이상 탐지의 성능을 향상

        • ex. GAN(생성적 적대 신경망)을 시각적 이상 탐지에 처음 도입했습니다. GAN 모델은 사전에 정상 이미지로 훈련되며, 이후 테스트 이미지와 가장 가까운 정상 이미지 사이의 차이를 계산하여 이상을 감지

    • 이미지 재구성과 적대적 훈련을 결합

      • 오토인코더와 적대적 훈련을 동시에 사용하여 이미지 이상 탐지에 활용
      • 최적화 기법
        • 합성곱 오토인코더인 생성기와 판별자가 포함됩니다. 평균 제곱 오차 손실과 적대적 손실 두 가지로 모델을 최적화
      • test단계 탐지 지표
        • 1) 테스트 단계에서는 재구성 오류와 판별자의 출력 확률이 탐지를 위한 지표
        • 2) 재구성된 이미지의 잠재 코드와 입력 이미지의 잠재 코드 간의 차이도 이상의 지표

    • 오토인코더와 적대적 네트워크의 공동 모델에서 잠재 코드의 특징 분포를 제약하거나 정규화

D. 자기 지도 분류(Self-supervised classification)

• 특정 보조 작업(선행 작업)을 활용하여 대규모 비지도 데이터로부터 사용 가능한 감독 정보를 추출
• 자기 지도된 감독 정보를 활용하여 주로 딥 컨볼루션 신경망을 통해 시각적 표현을 학습하고, 이러한 표현은 이미지 분류, 객체 탐지 및 이상 탐지와 같은 여러 하위 작업으로 전이

---

IV. PIXEL-LEVEL VISUAL ANOMALY DETECTION

비지도 픽셀 수준의 이상 탐지 접근 방법

A. 이미지 재구성

이미지 공간에서 이상을 탐지

• 방법1) 딥 컨볼루션 오토인코더로 입력 이미지를 압축하고 재구성

  • 정상 이미지의 재구성을 학습한 후, 입력 이미지와 재구성된 이미지 사이의 픽셀 차이를 평가하여 잠재적인 이상을 탐지
  • 이상도 측정법) 재구성 전후의 픽셀 간 거리 및 이미지 구조 유사성 측도 (SSIM) [49]을 사용하여 이러한 차이를 측정

• 방법2) 변이형 오토인코더(VAE) + 생성적 적대신경망(GAN)

  • GAN으로 재구성된 이미지의 품질 향상
  • VAE-GAN의 이상도 측정법) 픽셀수준의 L1거리 사용

• 이상치 탐지법

  • 재구성 확률, 우도점수 활용 가능

  • 입력 이미지와 가장 가까운 정상 이미지 간의 차이를 계산

    • AnoGAN

      • GAN모델 훈련 → 테스트 이미지와 가장 가까운 정상 이미지 사이의 차이를 추정하여 이상을 탐지

      • 정상이미지) 반복적인 최적화 과정을 통해 얻음

        ⇒ 반복적인 탐색과정 수행해야 하기에, 실제론 효율X

    • 탐지 성능 향상: 재구성의 어려움 증가시키기 방법

      • 일부 정보 제거 → 완전하지 않거나 손상된 입력이미지로부터 원래의 이미지 재구성하도록 convolution 오토인코더 사용
      • 정보의 저하 과정은 비정상 이미지의 재구성 난이도를 효과적으로 증가시킬 수 있으므로 정상 및 비정상 샘플 간의 이상 점수를 크게 키울 수 있으며, 이로써 탐지 성능을 향상

B. 특성 모델링

특성 공간에서 이상을 탐지

• 수작업으로 설계된 특성 or 신경망에 의해 학습된 특성을 사용하여 → 전체 이미지의 지역 영역의 효과적인 표현을 구축하는 데 전념

• 정상 이미지의 특성 분포를 모델링

  • 희소코딩, 가우시안 혼합모델, 클러스터링 (머신러닝 모델)

    : 이상 탐지를 위해 테스트 이미지의 지역 특성이 모델링된 특성 분포와 일치하지 않는 경우 해당 영역은 이상으로 레이블링

• 성능 향상 방법

  • 다중 스케일 모델 앙상블 전략 : 다양한 이미지 영역 크기에서 유도된 여러 단일 모델의 결과를 결합

• 이상 탐지 방법

  • 이미지를 많은 작은 이미지 패치로 나눈 다음 이미지 패치 수준에서 이상을 모델링하고 탐지
    • 훈련 및 테스트 중에 매우 시간이 소요되며, 특히 딥 신경망이 깊은 이미지 특성을 추출해야 할 때는 더 그렇습니다

• 실제 적용 사례

  • MVtecAD로 비지도 이미지 이상탐지 알고리즘 평가

  • 전이된 딥 합성곱 특성을 활용하고 특성 회귀를 통해 이상을 탐지

    • 사전에 학습된 딥 합성곱 특성 (예: ResNet18 [8])을 회귀 목표 또는 선생으로 사용하고, 정상 이미지의 대상 특성을 흉내 내거나 회귀하는 일련의 학생 네트워크를 훈련합니다. 테스트 중에는 학생 네트워크를 사용하여 선생 네트워크의 출력을 예측한 다음 해당 예측 오류와 불확실성 (분산)에 따라 이상 점수를 계산

  • 일부 특성 기반 방법은 사전에 학습된 깊은 계층적 합성곱 특성을 활용하여 다중 공간 컨텍스트 정보를 코딩하려는 방향으로 진행되고 있으며, 이는 픽셀 수준의 이상 탐지 및 분할에 큰 잠재력을 보여주고 있습니다. Shi 등 [66]은 VGG19 [7]를 비롯한 사전에 학습된 깊은 합성곱 네트워크의 계층적 특성을 최대한 활용하고 이상 탐지를 위한 효과적인 특성 재구성 메커니즘을 개발했습니다.

  • 계층적 합성곱 인코더를 제안하여 계층적 특성을 추출하고, 자기 지도 학습 전략을 설계했습니다. 이상 탐지를 위해 특별히 특성 일치 메커니즘을 개발했습니다. 구체적으로, 정상 이미지 패치의 특성을 사전에 추출하고 저장합니다. 그런 다음, 참조 단계에서 테스트 이미지의 특성은 가장 가까운 이웃 검색 방법을 사용하여 이전에 저장된 특성과 일치시킵니다. 마지막으로, 최소 일치 거리를 각 패치의 이상 점수로 취합니다. Cohen 등 [68]은 비슷한 특성 일치 메커니즘을 채택합니다. 그러나 그들은 ResNet18 [8]의 이미지넷 [69]에서 얻은 피라미드 구조의 합성곱 특성을 사용하기를 제안합니다.

  • 또 다른 이미지의 시각적 이상 탐지를 위한 연구 방향으로는 Grad-CAM [70] 및 해석 가능한 심층 생성 모델 [71], [72]과 같은 기울기 기반 주의 메커니즘을 활용하는 것이 있습니다. Venkataramanan 등 [72]은 이상 영역을 찾기 위한 유도된 주의 메커니즘을 개발했습니다. Liu 등 [71]은 정상 데이터로만 훈련된 변분 오토인코더를 사용하여 이미지에서 잠재적인 이상을 추정하기 위한 기울기 기반 시각적 해석 방법을 제안했습니다.

결과적으로, 가장자리 또는 질감 영역에서 자주 큰 재구성 오류가 발생하여 많은 수의 잘못된 이상 경보가 발생할 수 있습니다.