[Time-series 논문 리뷰] LSTPrompt: Large Language Models as Zero-Shot Time Series Forecastersby Long-Short-Term Prompting

방법론의 목적

기존의 제로샷 TSF 프롬프트 전략은 TS 데이터를 숫자 문자열로 표현하고 TSF 작업을 텍스트 기반의 다음 토큰 예측으로 간주

그러나 이러한 전략은 동적 TS 데이터에 내재된 정교한 예측 메커니즘의 필요성을 간과함.

명확한 지침이 없으면 기존 전략은 높은 불확실성을 가진 부정확한 예측을 초래

(=단순히 나열된 숫자만 가지고 다음을 예측하는 것은 예측에 필요한 다양한 요인들 고려안한것)

 

주목해야할 점

Chain-of-Thought, Time Breath

 

방법론

GPT-3.5 Turbo

GPT-4 사용 (best)

 

 

• Time Decomposition
  • 1) Chain-of-Thought
    • 목적: TSF 작업을 체계적인 추론을 위함
    • 방법: 특정 dataset으로 task prompt → task를 장단기 하위task로 분해 → LLM이 적절한 예측 매커니즘과 도메인 지식 통합하도록
      • 단기 예측: trend변화, 동적 패턴 중점
      • 장기 예측: 통계적 속성, 주기적 패턴 중점
    • 예시

      

• Time breath
  • 1) Time breath
    • 목적: 장기예측에서 LLM의 추론 능력 과부하방지
      • 멀리 떨어진 시간 단계에서 다른 예측 전략이 필요할 수 있기 때문에, 모델이 이전의 불필요한 추론을 피하고 현재의 예측에 더 잘 맞는 적응형 메커니즘을 적용할 수 있도록 도와줌
    • 방법: 휴식 주기를 결정하는 하이퍼파라미터 k 사용(k번째 단계마다 LLM이 예측 메커니즘을 재평가하고 조정할 수 있도록)
    • (= k 단계마다 이전 예측의 영향을 덜 받고, 새로운 시간 단계에 맞는 예측 전략을 적용하도록 유도)
    • 예시

      • 

 

이 방법론의 장점

시계열 prompting방법 중 Chain-of-Thought, Time-breath라는 새로운 방법을 사용하여 실험적으로 우수성 입증

 

 

---

Comment

예측 전략을 어떻게 재평가하는지 ?

코드로 확인해보려했으나, github코드에 없음