윤지

방법론의 목적 기존 prompt 기반 LLM이 데이터 얽힘 문제로 인해 성능저하 발생했기에,프롬프트 기반 LLM에서 얻은 얽힌 임베딩에서 시계열 정보와 단어 정보를 분리하고, 여러 변수 간의 의존성을 효과적으로 학습하여 더 나은 다변량 시계열 예측을 하기 위함  주목해야할 점 Dual-Modality Encoding (시계열과 시계열 값(숫자)를 포함한 prompt가 함께 input됨)  방법론  Dual-Modality Encoding1) Time Series Encoding Branch목적: 임베딩된 벡터를 인코더에 입력하여 여러 변수 간의 복잡한 시간적 의존성을 포착하기 위함방법: embedding → layer norm → multi-head attention→layer norm→FFN2) LLM..

방법론의 목적 1) Tabular data representation은 covariate shift와 concept drift의 얽힘으로 인해 방해받는 경우가 많음 (a), (b)를 비교해보면, 심층 학습 모델의 표현이 image데이터에서만 라벨에 따른 클러스터 가정을 따르며, tabular 데이터에서는 그렇지 않음Tabular 형식 도메인에서는 잠재적 혼란 변수 Z로 인해 입력 X에서 출력 Y로의 약한 인과관계가 발생하며, 이는 유사한 입력에 대해 매우 다른 라벨을 생성하는 경우가 많음(Grinsztajn, Oyallon, and Varoquaux 2022; Liu et al. 2023)심층 신경망이 정확하게 모델링하기 어려운 고주파 함수로 이어지며, 심층 신경망은 저주파 함수에 편향되는 경향이 있음 ..