[Manufacturing 논문 리뷰] Squeezed convolutional variational AutoEncoder for unsupervised anomaly detection in edge device industrial Internet of Things(ICCIT, 2018)

Abstract

• SCVAE
  • 시계열 이상탐지위함
  • 압축된 컨볼루션 VAE
  • UCI dataset의 레이블이 붙은 시계열 데이터에 적용됨
  • SqueezeNet의 Fire모듈을 적용하기 전후의 모델 비교

---

Introduction

• 제조 공정에서는 불량과 고장에 대한 레이블이 없음

⇒ 예측 정비에 앞서 공정의 행동 패턴에 대한 진단이 필요

• 레이블이 없을때) 비정상적인 행동 패턴을 이상 현상으로 가정 (센서 데이터가 시계열이기 때문에 시계열 데이터의 특성을 반영하는 모델을 찾는 것이 중요)
  • 기존 연구된 모델들
    • 비지도 이상 탐지를 위한 컨볼루션 신경망(CNN) 기반 변이형 오토인코더(VAE) 모델
• 기존) 클라우드 기반 접근방식 → 현재) 엣지기반 접근방식
  • 일부 컴퓨팅 부하를 에지 장치로 옮겨 실시간 추론을 가능
  • 데이터 통신 비용이 클라우드 기반 방법에 비해 매우 낮음
  • 통신 및 컴퓨터 인프라에 대한 부담을 줄임
• contribution
  • 에지 컴퓨팅에서 시계열 센서 데이터를 위한 unsupervised anomaly detection을 위한 압축된 컨볼루션 변이형 오토인코더(SCVAE) 모델을 제안
    • 1) 레이블이 붙은 시계열 데이터에 SCVAE를 적용하여 모델 성능을 검증
    • 2) 레이블이 없는 실제 컴퓨터 수치 제어(CNC) 데이터에 대해, SCVAE의 성능을 다른 모델과 비교하는 데 사용된 Match-General 메트릭을 제안
    • 3) 압축 전후의 모델 크기와 추론 시간을 비교하여 SCVAE가 에지 장치에서 사용하기에 적합한 모델임을 검증
      
      •  

---

Related Work

A. Conventional Unsupervised Anomaly Detection Models

• Isolation Forest (IF)
  • 특징을 임의로 선택하고 해당 특징의 최대값과 최소값 사이에서 무작위로 파티션 값을 선택하여 관측치를 격리
  • 각 샘플을 격리하는 데 필요한 분할 횟수는 루트 노드에서 리프 노드까지의 길이이며, 이는 이상 탐지의 척도로 사용
• Local Outlier Factor (LOF)
  • 주어진 샘플의 이웃에 대한 지역 밀도 편차를 측정하여 이상 점수를 계산
  • 지역 밀도 편차가 이웃에 비해 훨씬 낮은 샘플들은 이상으로 분류
• One-Class SVM (OCSVM)
  • 데이터 샘플과 기저 공간의 원점을 분리하고 특징 공간에서 정상 데이터를 설명하는 복잡한 경계를 생성
    • 새로운 샘플이 결정 경계 밖에 있으면 이상으로 분류
• Elliptic Envelope (EE)
  • 정상 데이터가 알려진 분포에서 생성된다고 가정합니다.
    • 분포의 형태를 정의하고 외곽선에서 관찰되는 점들을 이상으로 정의

B. Deep Learning Based Unsupervised Anomaly Detection Models

• VAE
  • 인코더와 디코더로 구성된 생성 모델
  • VAE를 사용한 비지도 이상 탐지
  • 실제 데이터가 인코더의 출력 확률 분포에서 나왔다는 확률을 재구성 확률로 정의하고,
  • 데이터에서의 이상을 판단하는 데 사용
  • 높은 재구성 확률을 가진 데이터 샘플은 정상으로 간주되며, 낮은 재구성 확률을 가진 데이터 샘플은 이상으로 간주
• GAN
  • 판별자와 생성자로 구성된 생성 모델
  • GAN을 사용한 이상 탐지(AnoGAN): 비지도 이상 탐지 모델
    • 주어진 데이터 입력을 생성하는 법을 학습한 후, AnoGAN은 잠재 공간의 노이즈 z를 찾아 주어진 데이터와 가장 유사한 데이터를 생성하고, 잔여 손실과 판별 손실을 계산
    • 두 손실의 보간된 값은 최종 손실로 사용되며, 이 값이 이상 점수로 사용
    • 한계) inference 중에 생성자가 주어진 입력 X에 근사하기 위해 z를 훈련시키기 때문에 실시간 사용에는 적합X

C. Anomaly Detection in Time Series Data

• FDC-CNN(Fault Detection and Classification Convolutional Neural Networks)
  • 다양한 센서 간의 관계와 시계열 제조 데이터의 시간 흐름을 고려
  • CNN의 receptive field를 다변량 센서 신호에 맞추고, CNN 필터를 시간 축을 따라 이동시켜 센서 데이터에서 의미 있는 feature extract

---

Proposed Models

A. CNN-Variational AutoEncoder

• input data: 시계열 데이터
• (시간 window size: 4,8,16, 2차원 input data차원: window size($t_w$) x feature 수(#f))
• Encoder
  • input: 2차원 데이터로 표현된 실제 데이터 x
  • output: latent variable z의 가우시안 확률 분포의 평균과 분산 매개변수
  • 시계열 데이터 처리 위해 CNN구조로 모델링 됨
    • 4개의 convolution layer + 1개의 fc layer
• Decoder
  • input: 인코더의 z
  • output: latent variable에서 재구성된 x의 가우시안 확률분포의 평균과 분산
  • CNN구조로 모델링 됨
    • 5개의 trans convolution layer + 1개의 fc layer
• Evidence Lower Bound (ELBO)
  • 인코더와 디코더의 매개변수 θ와 φ를 수렴시키기 위해
  • ELBO를 최대화 하는 방향으로 학습
• reconstruction probability
  • 데이터가 인코더의 주어진 latent variable의 확률 분포에서 나왔다는 확률
  ⇒ 이상점수=1-reconstruction probability
• 한계점
  • 우수한 성능을 보이지만, 모델 크기가 크고 inference 속도가 느려 컴퓨팅 자원이 매우 제한적인 에지 장치에서 사용하기에는 적합X

B. Squeezed Convolutional Variational AutoEncoder (SCVAE)

• SCVAE
  • 엣지 컴퓨팅에 적합한 모델
  • CNN-VAE의 컨볼루션 레이어를 SqueezeNet에서 사용된 Fire 모듈 형태로 변환
• Fire 모듈
  • squeeze 레이어와 extense 레이어로 구성
    • squeeze layer
      • 1x1 conv filter
    • extense layer
      • 1x1 conv filter + 3x3 conv filter
• 바뀐점
  • CNN-VAE 인코더의 네 개의 컨볼루션 레이어는 하나의 Fire 모듈로 대체
  • 디코더에서 사용된 fire 전치 컨볼루션 레이어는 하나의 전치 Fire 모듈로 대체

 

---

Conclusions & Comments

1. 이 연구 한계점: metric

• Match-General 지표가 사용됨.
• 그러나 이 지표는 객관적이지 않으며 많은 허점이 존재.
• 레이블이 없는 환경에서 이상 탐지 알고리즘의 성능을 객관적인 기준으로 비교할 수 있는 지표가 필요해 보임.