[Time-series 논문 리뷰] SEnsor Alignment for Multivariate Time-Series Unsupervised Domain Adaptation(AAAI, 2023)

0. Abstract

• **비지도 도메인 적응(**Unsupervised Domain Adaptation, UDA)
  • 한 영역(도메인)에서 알려진 정보(레이블이 붙은 데이터)를 다른 비슷하지만 약간 다른 영역(레이블 없는 데이터가 있는)으로 전달하는 방법
  → 다변량 시계열 데이터에는 적용 불가
• 다변량 시계열 데이터(MTS)
  • 다양한 분포를 따르는 여러 센서에서 수집
  • 대부분의 UDA 방법은 global 특성만을 정렬하는 데 중점을 두고 각 센서의 고유한 분포를 고려하지 못함 (세부적인건 고려 못함)
  ⇒ 다변량 시계열 비지도 도메인 적응(Multivariate Time-Series Unsupervised Domain Adaptation, MTS-UDA)으로 설정.

• 제안: 센서 정렬(SEnsor Alignment, SEA)
  • MTS-UDA를 위해 local 및 global 센서 수준에서 도메인 차이 줄이기
    • local 센서 수준 (각 센서들간 도메인 정렬; 각각의 센서가 잘 맞도록 조정)
      • 도메인 간에 센서 특성과 그 상관관계를 정렬하기 위해 내부 특성 정렬을 설계하였으며, 이는 각 센서의 특성과 센서 간의 상호작용을 나타냄
    • global 센서 수준 (모든 센서가 함께 만드는 전체적인 데이터 패턴이 잘 맞도록 조정)
      • 도메인 차이를 줄이기 위해, 전역 센서 특성에 제약을 부과하는 외부 특성 정렬을 설계
  • MTS의 공간-시간 정보를 multi-branch self-attention 매커니즘을 사용
    • 기존UDA: MTS가 센서간의 필수적인 공간-시간 의존성 정보 전달 불가능
    • 도메인 간에 간단하고 효과적으로 전달할 수 있도록 모델링

---

1. Introduction

[1] 데이터 레이블링의 어려움

[2] 기존 UDA 방법, Time series + UDA 소개

• UDA: 레이블이 없는 타깃 도메인에 레이블이 있는 소스 도메인에서 지식을 전달
  • 기존 UDA 방법: domain invariant feature를 학습
    • 메트릭 기반 방법
    • 적대적 기반 방법
    ⇒ ㄱㅊ은 성능 달성, UDA가 레이블 의존성 줄이는데에 효과적임을 보여줌
  • Time series + UDA: domain invariant time feature을 학습함으로써 도메인 간의 차이를 줄이기 위함
    • RNN
    • LSTM
    • CNN에 의해 추출된 특성을 통해 이루어짐

[3] 기존의 TS UDA 방법 한계 2가지 → 극복 2가지

• 기존의 TS UDA 방법 한계→ 실제 응용에서 적용X (실제에선 다변량이니까)
• 1) 단변량 시계열 데이터에 초점
  • ex. 잔여 유용 수명(RUL) 예측 및 인간 활동 인식(HAR)
  • 다변량 시계열 비지도 도메인 적응(MTS-UDA) 등장
    • 기존 단변량 UDA 방법 한계
      • 센서의 전체 분포를 고려할 수는 있지만, 센서 수준의 분포를 고려하지 못해 각 센서의 불일치가 발생
      • 이전 UDA 방법들은 도메인 간의 전체 특성만을 정렬
      • 빨간 센서에서의 특성 정렬이 부족하고 모델의 전이 가능성을 제한

[4] Contribution

• Contribution
  • 첫째, MTS 데이터의 특성에 따라 MTS-UDA의 도전적 시나리오를 구성합니다. 우리가 아는 한, 이는 MTS 데이터를 위해 특별히 설계된 UDA 방법의 첫 번째 작업
  • 둘째, 우리는 MTS-UDA의 기본 문제를 분석하고 이러한 문제를 일관되게 해결하기 위해 SEA를 설계합니다. SEA는 지역 및 전역 센서 수준에서 도메인 차이를 줄이고 동시에 MTS 내의 공간-시간 의존성을 포착하여 도메인 간에 간단하고 효과적으로 전달
  • 마지막으로, 우리는 다양한 실제 MTS 데이터셋을 사용하여 제안된 프레임워크의 효과를 입증하며, 이를 통해 최고의 성능을 달성

---

2. Related Work

Unsupervised domain adaptation.

• UDA
  • 레이블이 있는 소스 도메인에서 지식을 레이블이 없는 타깃 도메인으로 전달하기 위해 네트워크를 훈련함으로써 레이블링 비용을 줄이고자 함
  • 기존 UDA 방법들은 라벨 의존성 없이 도메인 간의 차이를 최소화하려고 노력 2가지
    • 적대적 기반 방법: 도메인 판별 네트워크를 사용하여 특징 추출기가 도메인 불변 표현을 학습하도록 강제
      • 도메인 적대적 신경망
      • 조건부 도메인 적대적 네트워크
      • 적대적 판별 도메인 적응
    • 메트릭 기반 방법: 네트워크가 메트릭 제한을 강제함으로써 불변 특성을 학습
      • 딥 도메인 혼동
      • 딥 뉴럴 네트워크를 통한 상관 관계 정렬
      • 도메인 조건부 적응 네트워크

Unsupervised domain adaptation for time-series data.

• 최근 TS 데이터를 위한 몇 가지 UDA 방법들이 제안
  • VRADA: 변형 RNN을 통해 시간적 특성을 학습하고 적대적 기반 방법으로 차이 줄임
  • ADATIME: 시간 동안의 역학을 포착하기 위해 다양한 CNN 모델을 평가
  ⇒ 단변량을 위한 방법들, 다변량X
  • 기존 다변량 UDA 방법들
    • 모든 센서가 같은 분포를 따른다고 가정함으로써 MTS(Yang et al. 2021)에 적용
    • 모든 센서를 하나로 취급
    • 여전히 MTS 데이터 내의 필수적인 특성을 고려할 수 없습니다.
• → 다른 센서에서 온 데이터는 센서가 다양한 물리적 양을 측정하기 위해 배치되기 때문에 다양한 분포를 따름 (ex. 온도와 팬 속도)
• : 도메인 간의 시간적 특성을 정렬함으로써 차이를 줄임

 

---

3. Proposed SEA Framework

3.1. Problem Definition

3.2. Overall Structure

• 전체 구조
  • 소스와 타깃 도메인에서의 전방 과정이 Multi-branch Self-attention 기반 그래프 구축(MSGC),
  • 그래프 신경망(GNN),
  • 그리고 LSTM을 포함하는 같은 특징 추출기를 공유
• 전반적인 흐름
• 1) MTS 데이터 내의 공간-시간 의존성을 모델링
• : 도메인 간의 간단한 전달을 위해
  • 샘플 x를 주어진 상태에서, 우리는 그것을 미니 조각으로 잘라내고, MSGC에 의해 순차적 그래프로 구성 → 순차적 그래프를 사용하여, GNN과 LSTM이 결합되어 센서 정보( 센서 특징)와 상관관계를 학습하기 위한 공간-시간 정보를 포착
  2) 센서 정보를 사용하여 지역 및 전역 센서 수준에서 도메인 차이를 줄임
  • 지역 센서 수준에서, 우리는 센서 특징과 그 상관관계를 이용하여 **센서 특징 정렬(SFA)**과 **센서 상관관계 정렬(SCA)**을 각각 설계함으로써 내부 특징 정렬을 설계
  • 전역 센서 수준에서, 우리는 센서 특징을 쌓아서 외부 특징 정렬을 설계하고 제한을 부과함으로써 전역 특징을 정렬

3.3. Multi-Branch Self-Attention-Based Graph Construction(특징 추출)

Sampling

Graph construction

• 순차적 그래프 구성 (순차적 특징 얻기위해)
  • MSGC(Multi-branch Self-attention based Graph Construction)를 제안
    • 센서 간의 복잡한 상관관계를 완전히 나타내기 위해,
    • 각 센서 사이의 연결 강도를 나타내는 그래프를 얻음
    • 시간에 따라 어떻게 센서들이 서로 영향을 주고받는지 보여줌

    • 

Capturing Spatial-Temporal Information

• GNN 도입 (공간의존성)
  • GNN은 이전 연구들에서 공간 의존성 포착 능력 입증
  • 순차적 그래프에서 센서 상관관계 포착 위함
  • 각 그래프에서의 센서 상관관계가 독립적이라고 가정하므로, 공유된 GNN을 사용하여 각 그래프, 즉 $G_T = (Z_T, E_T)$를 처리
  • 그래프 처리 시 사용 수식

• • LSTM 도입 (시간의존성)
    • 특정 센서에서 나온 데이터가 순차적 그래프 사이에 시간 의존성을 보임
    • 순차적 그래프에서 센서 m을 위한 특징zm∈RLˆ×d가 주어졌을 때, 우리는 LSTM을 사용하여 센서 m의 시간 의존성을 학습
  ⇒ MTS 데이터 내의 공간-시간 의존성을 포착 
• ⇒ 지역 및 전역 센서 수준에서의 정렬을 통해 도메인 간에 전달

 

3.4. Alignment for UDA(도메인 갭 줄이기)

MTS-UDA에서 도메인 간의 차이를 줄이기 위해, 우리는 지역 및 전역 센서 수준에서 각각 *****내부 특징 정렬(endo-feature alignment)과 외부 특징 정렬(exo-feature alignment)*을 설계

Endo-feature alignment. (local)

• 더 나은 내부 특성 정렬 달성 위함
• 센서별 정보=(센서의 특성(각 센서의 속성), 센서 간 상관관계(센서들 사이의 중요한 상호작용 정보))
• ex. 기계 건강상태 감지위해 온도센서, 팬 속도 센서 함께 배치