[Time-series 논문 리뷰] UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting (WWW 2024)

Motivation

• 기존 시계열 예측 모델은 도메인별 전용 학습에 의존해 데이터 간 공통 패턴을 활용하지 못함.
• 도메인 간 데이터 특성 다양성, 혼동 문제, 학습 속도 불균형으로 인해 통합 모델 학습이 어려움.
• 도메인 간 공통 패턴 학습 및 전이를 가능하게 하는 통합적이고 일반화 가능한 모델 필요.

 

Contribution

• 최초의 크로스-도메인 통합 시계열 모델 UniTime 제안
  • 자연어 기반 도메인 지침으로 도메인 혼동 해결.
  • 마스킹 기법으로 도메인 간 학습 속도 불균형 완화.
• 언어와 시계열 데이터의 통합 학습 구조 설계
  • Language-TS Transformer로 도메인 식별 및 데이터 일반화 구현.

 

Proposed Method

• Time Series Tokenizer
  • 역할: 시계열 데이터를 전처리하여 모델에 입력할 토큰을 생성.
  • 구성 요소
    • Time Series Patching: 시계열 데이터를 일정한 길이(토큰 길이 P)로 분할해 로컬 패턴을 학습.
    • 데이터의 과도한 길이를 줄이고 계산 효율성을 개선.
    • Masking & Gated Fusion: 각 도메인의 학습 속도 불균형을 줄이기 위해 일부 시계열 데이터를 무작위로 마스킹.
    • Gated Fusion 메커니즘으로 마스킹 정보를 시계열 데이터와 통합

• Language-TS Transformer
  • 역할: 언어(도메인 지침)와 시계열 데이터를 통합해 학습.
  • 구성 요소
    • Domain Instructions): 각 도메인에 대한 텍스트 지침(예: “Exchange rate data with daily sampling rate”)을 제공.
    텍스트를 통해 도메인 간 혼동(domain confusion)을 완화하고 데이터 구별을 용이하게 함.
• Transformer 구조
  • 언어와 시계열 데이터를 통합된 잠재 공간(latent space)으로 매핑.
  • 입력 순서: 텍스트 → 시계열 데이터 (텍스트 정보를 먼저 활용).
  • Causal Masking을 통해 시간 순서를 보장.

• Decoder
  • 역할: 시계열 데이터의 미래 값을 예측.
  • 구성 요소
    • Lightweight Transformer: Transformer의 가벼운 버전을 사용해 가변 길이 입력(토큰 길이, 예측 길이)을 처리.
    • 패딩 토큰 (Padding Token): 모든 도메인의 출력 길이를 동일하게 맞추기 위해 패딩 추가.
    패딩 정보가 다른 토큰에 영향을 미치도록 설계.
    • 직접 예측: 선형 레이어를 사용해 직접 미래 값을 출력

 

Experiments

• 크로스-도메인 학습에서 기존 최신 모델들보다 높은 성능 기록.
• 다양한 데이터셋(ETT, Electricity, Weather 등)과 예측 길이(96, 192, 336, 720)에서 안정적인 성능을 보여줌.
• 도메인별로 별도로 학습한 모델들과 비교해도 유사하거나 더 나은 성능.
• 예측 길이가 길어질수록(720) 기존 모델 대비 성능 저하가 적음.
• 학습하지 않은 도메인에서도 높은 일반화 성능 확인.