[Time-series 논문 리뷰] TGAN-AD: Transformer-Based GAN for Anomaly Detection of Time Series Data

Motivation

• 기존의 이상 탐지 방법은 종종 정확한 레이블이나 명확한 정의가 부족하고, 고차원 데이터를 처리하는 데 한계
• 기존의 GAN 기반 이상 탐지 모델은 시계열 데이터의 문맥 정보를 효과적으로 추출하지 못하는 한계

 

Contribution

• TGAN-AD라는 새로운 모델을 제안
  • Transformer 기반 GAN을 이용해 시계열 데이터의 문맥 정보를 효과적으로 추출할 수 있도록 설계.
• Generator와 Discriminator가 각각 Transformer로 구성되어 시계열 데이터의 시간적 상관관계와 숨겨진 패턴을 효율적으로 학습.
• Reconstruction Loss와 Discrimination Loss를 동시에 활용해 이상 점수를 계산.
• 세 가지 공개 데이터셋(SWaT, WADI, KDDCup99)에서 실험을 수행, 최신 방법들보다 우수한 성능을 입증

Proposed Method

모델 구조

• Generator
  • Transformer를 기반으로 정상적인 시계열 패턴을 시뮬레이션.
  • 랜덤 잠재 공간(Noise) Z와 실제 시계열 데이터를 입력받아 가짜 시계열 데이터를 생성.
• Discriminator
  • 입력된 시계열 데이터가 진짜인지 가짜인지 판별.
  • Transformer 기반으로 시계열 데이터의 내재적 특성을 학습.
• Anomaly Detection (이상 탐지 과정)
  • 두 가지 손실 함수 사용:
    • Reconstruction Loss ($G_{loss}$): 원본 시계열 데이터와 Generator가 재구성한 데이터 간의 차이.
    • Discrimination Loss ($D_{loss}$): Discriminator가 판단한 입력 데이터의 이상 점수.
    • 이상 점수 계산 식

 

주요 특징

• Transformer 구조로 인해 기존 LSTM이나 RNN보다 병렬처리가 가능하고, 장기적 시간 의존성(Long-term dependencies)을 더 효과적으로 학습.
• Sliding window 방식을 사용해 시계열 데이터를 sub sequence로 분할, 보다 정밀한 이상 탐지가 가능.

 

 

Experiments

주요 결과

• SWaT 데이터셋에서 Recall 99.0%, **F1-Score 95.3%**로 가장 우수한 성능.
• WADI 데이터셋에서도 모든 지표에서 최고 성능 기록 (F1-Score 92.2%)
• KDDCup99 데이터셋에서 F1-Score 92.5%로 경쟁 모델들 대비 우수한 성능.

하이퍼파라미터 분석

• α 값: 이상 점수를 계산할 때, 판별 손실의 가중치를 크게 설정할수록 성능이 향상됨.
• Transformer 레이어 수: 4개의 레이어로 가장 안정적인 성능 기록.
• Sliding Window 크기: 시퀀스 길이에 따라 성능 차이가 있으며, 최적 길이는 데이터셋에 따라 다름.