[Time-series 논문 리뷰] ANOMALY TRANSFORMER: TIME SERIES ANOMALY DETECTION WITH ASSOCIATION DISCREPANCY(ICLR, 2022)

0. Abstract

• 시계열 비지도 이상 탐지
  • 기존 방법들
    • (둘다 잘 안됨) pointwise representation, pairwise association
    • (transformer) 통합모델링: pointwise representation+pairwise association
      • 각 timepoint의 self attention weight분포 → 전체 series와의 풍부한 연관성 내포가능
  • 이 연구에서의 문제 정의
    • 이상이 드물기에, anomaly point로부터 전체 series에 대한 중요한 연관성 구축 어려움
    • 따라서 전체보단, 주로 인접한 time point들과 연관성 집중될 것 (=인접 집중 편향)
      • (이 연구에서,,) 정상과 이상점들 사이의 구별가능한 연관성 기준 내포**(=연광성 차이)**를 통해 정상과 이상의 차이 강조함
      ⇒ 연관성 차이 계산 위한 anomaly-attention 매커니즘 가진 Anomaly Transformer 제안
      • 연관성 차이의 정상-이상 차이 증폭 위해, minimax strategy 고안됨

---

1. INTRODUCTION

[1] 비지도 시계열 이상탐지 이유

[2] pointwise representation 학습의 문제점/어려움

• 기존 연구
  • 로컬 아웃라이어 팩터(LOF)
  • 원-클래스 SVM(OC-SVM)
  • SVDD
  • 밀도추정방법
  • 클러스터링 기반 방법
• : 시간적 정보 고려X, unseen data에 대해 일반화X
• 최근 연구
  • RNN+reconstruction/self supervised : 이상기준) 점별 재구성/예측오류
    • 문제점1: 이상의 희소성으로 인해 pointwise representation은 복잡한 시간패턴에 대해 덜 정보적 & 정상시간 점들에 의해 지배될수있어 이상 구별 어려움
    • 문제점2: 재구성/예측오류 점별 계산 → 시간적 맥락에 대한 포괄적 설명X
• : pointwise representation 학습하기

[3] 명시적 연관성 포착 이상탐지 방법들

• 또 다른 연구들
  • explicit association modeling (명시적 연관성 포착방법들)
    • 벡터 자기회귀
    • 상태 공간 모델
    • 그래프: 다른 timepoint들을 정점으로 나타내고 이상감지
      • 최근) GNN: 다변량시계열에서 여러 변수간 동적 그래프 학습 위해 사용됨
      • : 표현력은 뛰어나지만, 학습된 그래프는 여전히 단일 timepoint로 제항되어 복잡한 시간패턴 표현에는 부족함
    • subsequence based method: 더 넓은 시간적 맥락 탐색, but 각 timepoint와 전체 series사이의 미세한 시간적 연관성 포착X

[4] 제안 모델 소개

• 제안 모델 소개: Transformer+unsupervised time series anomaly detection
  • 각 time point의 시간적 연관성이 self attention map에서 얻어질 수 있음
  • **(제안1: series-association)**시간 차원을 따라, 모든 time point들에 대한 연관성 가중치 분포로 나타냄
    • 시간적 맥락에 대해 더 정보적인 설명을 제공
    • 시계열의 frequency(주기), trend(추세)와 같은 동적 패턴 나타냄
    • 트랜스포머에 의해 raw weries에서 발견 가능
  • 제안2: 연관성 차이
    • 이상의 연관성
      • 이상의 희소성과 정상패턴의 지배성으로 인해 전체 series와 강한 연관성 구축 어려움
      • (인접 집중 유도 편향) 연속성으로 인해 유사한 비정상 패턴 포함할 가능성이 더 높은 인접한 timepoint들에 집중
    • 정상
      • 인접 영역에 국한 X
      • 전체 series와 정보가 풍부한 연관성 발견
    ⇒ (이 연구에서,,) 연관성 분포의 내재된 정상-이상 차이 구별 시도할 것 (=연관성 차이)

[5] contribution

• 연관성 차이의 핵심 관찰을 바탕으로, 우리는 사전 연관성과 시리즈 연관성을 동시에 모델링하여 연관성 차이를 구현할 수 있는 이상 주의 메커니즘을 가진 이상 트랜스포머를 제안합니다.
• 연관성 차이의 정상-비정상 구별 가능성을 증폭시키고 새로운 연관성 기반 탐지 기준을 도출하기 위한 최소-최대 전략을 제안합니다.
• 이상 트랜스포머는 세 가지 실제 응용 분야에서 여섯 개의 벤치마크에 대한 최첨단 이상 탐지 결과를 달성합니다. 이는 광범위한 제거 및 통찰력 있는 사례 연구로 정당화됩니다.