[Manufacturing 논문 리뷰] Analytical investigation of autoencoder-based methods for unsupervised anomaly detection in building energy data

0. Abstract

• 오토인코더
  • 고차원 data representation의 unsupervised learning에 매우 강력함
• 오토인코더 기반 앙상블
  • 다양한 오토인코더 유형/학습 방식에 대한 포괄적인 비교 제공

---

1. Introduction

• supervised 이상탐지
  1. 이상 탐지를 위한 모델 기반 접근법
     • SVM과 multi layer과 같은 감독 학습 알고리즘
     • output
       • 1) 이상 탐지는 예측 값과 실제 값 사이의 차이를 기반으로 수행
       • 2) 관찰이 이상인지 아닌지를 직접 나타내는 레이블을 사용하는 것
         • 이진 or 다중 클래스 분류 문제로 변환
     • 한계
       • 고품질 훈련 데이터를 얻는 것이 시간이 많
       • 관찰이 비정상인지 아닌지에 대한 레이블(또는 근거 사실)을 얻는 것이 비용이 많이 들고 때로는 실현 불가능
• unsupervised 이상탐지
  1. 통계적 방법
     • 기본 데이터 분포(예: 가우스 정규 분포)에 대한 통계적 가정을 만들고, 이를 바탕으로 이상 탐지를 위한 점수를 계산
       • ex1. 일반화된 극단 학생화 편차(GESD) (고차원 → 저차원의 특징으로 표현하는 특징 추출 단계 포함 → 이상에 순위를 매김)
       • ex2. PCA기반
  2. 비감독 데이터 마이닝 방법
     • ex1. 클러스터링 분석 (유사 관찰을 하나로 묶는것)
     • ex2. 연관 규칙 마이닝(ARM)(데이터 변수간의 중요한 연관성 추출)
     • 한계점
       • 대규모 데이터에 적용할 때 이상 탐지 성능과 계산 효율성이 크게 저하될 수 있습니다. 예를 들어, 통계적 방법은 대규모 데이터에 확장성이 없으며, 실제 고차원 데이터에 의해 충족되지 않을 수 있는 엄격한 수학적 가정에 의존
       • 기존 비감독 방법의 성능은 사용된 특징에 크게 의존.
         • → 현재 이상 탐지를 위한 특징은 도메인 전문 지식이나 단순한 통계(예: 수치 변수의 평균 및 표준 편차)를 바탕으로 선택되거나 구성
     • 한계 극복 ; auto encoder
       • input = output
       • 장점 (오토인코더를 base로 깔고가는 이유 !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!)
         • 오토인코더가 비감독 이상 탐지에서 가장 도전적인 작업인 특징 공학을 해결하기 위해 고급 특징 추출을 위한 데이터 기반 접근 방식을 가능하게 한다는 것

---

2. Basics on autoencoders

2.1. The general autoencoder architectures

• 입력(즉, X로 표시됨)과 출력(즉, Y로 표시됨)은 동일하게 설정되며, n은 관찰 수이고 m은 변수 수
• 구성
  • 인코더
    • 입력 데이터를 고차원 특징(=Z)로 변환
    • Z = f(WX + b)의 매핑을 학습하며, 여기서 W와 b는 각각 가중치와 바이어스의 행렬이고, S는 활성화 함수(예: 시그모이드 또는 쌍곡탄젠트)
  • 디코더
    • 고차원 특징 사용하여 입력데이터 재구성
    • $Y' = f'(W'Z + b')$의 매핑을 학습
• 의미있는 고차원 특징 학습 위해 일반적으로 훈련 제약 지정
  • 1) p가 m보다 작은 'under-complete' 또는 '병목' 레이아웃
    • X의 압축된 표현을 학습
  • 2) p가 m보다 큰 'over-complete' 레이아웃
    • X의 희소한 표현을 학습
    → 보통 over-complete이 더 나은 feature 학습 능력 지님 → but 더 많은 데이터 필요 !

2.2. Types of autoencoders

• 더 많은 hidden layer와 hidden 뉴런을 도입함으로써 재구성 능력을 향상 가능
• CNN+pooling의 계층적 모델
  • 1D 시계열 , 2D 이미지에서 구조적 의존성 포착 위함
• CAE (convolutional autoencoder)
• RNN

2.3. Denoising training schemes

• 잡음 추가 이점
  • 유용한 특징을 추출하여 탈잡음을 수행하도록 (손상된 입력 X'를 바탕으로 X를 재구성)
  • ⇒ 신뢰할 수 있고 견고한 고차원 특징을 학습하는 데 매우 유용
• 잡음 추가 방법
  • 첨가성 등방성 가우시안 잡음
    • 실수 값 입력에 적합하며, 각 입력에 대해 가우시안 정규 분포에 따라 잡음이 추가
  • 솔트 앤 페퍼 잡음
    • 입력 값의 일부를 무작위로 선택하고 0 또는 1로 설정
  • 마스킹 잡음 (Masked auto-encoder)
    • 입력 값의 일부가 무작위로 선택되고 그 진실한 값들은 0을 사용하여 마스킹