[Time-series 논문 리뷰] Source-Free Domain Adaptation with Temporal Imputation for Time Series Data(KDD, 2023)

Abstract

• source free domain adaptation
  • source data로 pretrain된 모델을, $x_t$로만 adaptation 시키는 것
• 기존 연구 한계
  • 비전쪽에서는 널리 사용, but 시계열에서는 사용X
  • 비전쪽에서 설계된 기존 SFDA → 시계열의 동적 특성 처리X
• 제안하는 것: MAPU
  • 소스 도메인의 시간 정보를 포착하기 위해, 우리의 방법은 시계열 신호에 무작위 마스킹을 수행하면서 임베딩 공간에서 마스킹된 버전에서 원래 신호를 복구하기 위해 새로운 시간적 이입자를 활용
  • adaptation 단계에서, 이입자 네트워크는 소스 특성과 시간적으로 일관된 타겟 특성을 생성하도록 타겟 모델을 안내하는 데 사용

---

1. INTRODUCTION

[1] UDA 소개

• UDA?
  • 미리 라벨이 지정된 소스 데이터를 이용하여 라벨이 없는 타겟 데이터에 대한 학습을 가능하게 하면서 두 도메인 간의 분포 변화도 다룸
• 기존 방법
  • 소스-타겟 feature간 통계적 거리 최소화
  • 적대적 훈련 사용하여, domain invariant 특성 찾기
• 기존 방법 한계
  • adaptation시, source data에 대한 접근 필요 → 데이터 개인정보 규정으로 항상 가능한 것 X

[2] SFDA 소개

• SFDA(source free domain adaptation)
  • adaptation과정 중, source pretrain model 사용 가능
• 기존 방법 한계
  • 비전 위해 설계 → 시계열 데이터의 역동성 처리 어려움

[3] 시계열에서 SFDA 효과적으로 적용하는 것의 중요성

 

 

• 시계열에서의 시간적 종속성 → 예측에 중대한 영향

• 두 개의 변화된 도메인 간의 시간 정보를 적응시키는 것

⇒ 소스 데이터가 없는 상황에서 시계열 데이터의 시간 정보를 어떻게 효과적으로 적응시킬 수 있는가

 

[4] 제안 모델

• 제안하는 것: MAPU

• • RNN을 훈련하여 소스 도메인의 시간 정보를 포착
  • 타겟 도메인으로 전달되어 적응에 사용
  • Capturing Source Dynamics
    • 입력 신호가 시간적 마스킹
    • 마스킹된 신호와 원본 신호는 인코더 네트워크에 입력되어 해당 특성 표현을 생성
  • Adapting Target Temporal Dynamics
    • 시간적 보충 네트워크가 훈련되어 특성 공간에서 마스킹된 신호로부터 원본 신호를 보충
    • 시간적 보충 작업을 위한 보다 부드러운 최적화를 가능하도록

• Contribution
  • 시계열 응용 분야에 대한 소스프리 도메인 적응을 달성한 최초
  • 소스와 타겟 도메인 간의 순차 일관성을 보장하기 위해 새로운 시간적 보충 작업을 제안
  • 기존 SFDA 방법에 시간 적응 능력을 통합하기 위한 방법론을 제안

---

2. RELATED WORK.

2.1. Time series Domain Adaptation

[1] 시계열 분포변화 대처방안 2가지

• 시계열 분포변화 대처방안 2가지(시계열 DA방법론)
  • 차이 기반(discrepancy-based) 방법
    • 통계적 거리를 사용하여 소스와 타겟 도메인의 특성 표현을 맞추기
    • 예를 들어, AdvSKM은 도메인 적응 중 시간 의존성을 고려하기 위해 최대 평균 불일치(MMD) 거리와 하이브리드 스펙트럼 커널을 결합하여 활용
    • 또 다른 예는 시계열 데이터의 연관 구조를 학습하여 소스와 타겟 도메인을 맞추는 SASA
  • 적대적 기반(adversarial-based) 방법
    • 적대적 훈련을 사용하여 소스와 타겟 도메인 간의 분포 변화를 완화
    • 예를 들어, CoDATS는 다중 소스 인간 활동 인식 데이터에 약한 감독을 가진 적대적 훈련을 위해 그래디언트 역전 레이어(GRL)를 사용
    • 또한, DA_ATTN은 도메인별 정보를 보존하기 위해 공유되지 않은 주의 기제(un-shared attention mechanism)와 적대적 훈련을 결합
    • 최근에는 SLARDA가 도메인 간 시간 역학을 맞추기 위한 자동 회귀 적대적 훈련 접근법을 제시

[2] 위 방법들의 한계점

• 기존 da방법들의 한계
  • adaptation시, source data 필요 (실상황에서 소스 데이터에 접근 불가할 때가 많음)
• 이 논문 제안 모델
  • adaptation 시, 소스 데이터 접근 X
  • 소스 데이터에서 pretrain 모델을 새 도메인에 adapt 가능
  • 고위험 응용 프로그램에 더 실용적인 해결책

2.2 Source Free Domain Adaptation

[1] 기존 SFDA 방법 3가지

• SFDA 방법들
  • 방법1: 소스 도메인에서 pretrain모델 사용 → adaptation시 소스와 유사 데이터 합성
  • 방법2: 다중 분류기 간의 적대적 훈련을 사용하여 타겟 클래스에 잘 일반화
  • 방법3: 모델이 소스 샘플에 대해서는 더 확신하고 타겟 샘플에 대해서는 덜 확신해야 한다는 가정 하에, 소프트맥스 점수 또는 그에 해당하는 엔트로피를 사용하여 확신 있는 샘플을 peudo-labelling을 위해 우선시

---

3 METHODOLOGY

3.1 Problem definition

3.2 Overview

• 입력 신호와 마스킹 신호가 주어지면, 두 단계로 구성
  • Step1: source pretraing
    • 새로운 시간적 보충 작업을 통해 소스 도메인의 시간 정보를 포착하는 보충 네트워크로 불리는 자동회귀 네트워크 훈련
  • Step2: source-free adaptation
    • 시간적으로 일관된 타겟 특성을 생성하도록 타겟 인코더를 안내하는 소스 사전훈련된 보충 네트워크를 활용

3.3 Temporal Masking

• source, target에 모두 적용
• 목적: 모델이 주변 블록의 정보를 사용하여 누락된 부분을 채우고 입력 신호의 시간적 의존성 포착
• 마스킹 방법 (X′)
  • 시간 차원에 따라 여러 블록으로 분리
  • → 블록 중 일부 무작위로 선택 & 그 값들을 0으로 설정

3.4 (Source pretrain) Capturing Source Temporal Dynamics

3.5 Temporal Adaptation with Feature Imputation

3.6 Integration with Other Source-free Methods

• 일반적인 source-free adaptation 2단계 학습 절차
  • 소스 도메인 데이터로 소스 모델을 사전 훈련하고,
  • 사전 훈련된 모델을 타겟 도메인에 적응
• source pretrain 단계 loss (시간 보충 작업에 대한 학습 + encoder학습 CE로 일부진행) ⇒ 시간적 의존성 포착능력 학습 (global)
  • 인코더는 기존의 교차 엔트로피 손실로만 독립적으로 훈련
  • 보충 작업이 사전 훈련 성능에 부정적인 영향을 미치지 않도록 보장
  • 예측 라벨과 실제 라벨사이의 cross entropy

• source-free adaptation 단계 loss (encoder를 target set에 맞게 학습) ⇒ target의 feature추출 능력 학습 (local)
  • 목표: 시간적 보충손실과 일반적인 source-free loss 균형잡히게 최적화
  • 시간적 일관성 달성