2024/04 21

[논문 리뷰] Source-free Video Domain Adaptation by Learning Temporal Consistency for Action Recognition(CVPR, 2022)

ATCoN소스 모델과 동일한 구조를 가진 공간 및 시간 특성 추출기를 사용하고, 이는 소스 특성 추출기로 초기화됩니다. 이 모델은 로컬 시간 특성들로부터 전반적인 시간적 특성을 학습함으로써 특성 일관성과 소스 예측 일관성을 동시에 유지합니다. 로컬 가중치 모듈(LWM)은 더 정확하다고 판단되는 로컬 시간적 특성에 집중합니다. 최종적으로, 고정된 소스 분류기를 사용하여 이러한 전반적인 시간적 특성에 기반한 예측을 도출  ⇒ 모델은 소스 모델과 동일한 구조의 공간 및 시간 특성 추출기를 사용하며, 이는 소스 특성 추출기로 초기화됩니다. 로컬 시간적 특성에서 전반적인 시간적 특성을 학습함으로써 특성 및 소스 예측 일관성을 유지합니다. 로컬 가중치 모듈(LWM)은 정확도가 높은 로컬 특성에 집중하고, 최종 예측..

[논문 리뷰] Overcoming Label Noise for Source-free Unsupervised Video Domain Adaptation(ICVGIP, 2023)

CleanAdapt(a) 첫 번째 단계에서는 레이블이 붙은 소스 도메인 비디오(D𝑠)를 이용해 모델(𝑓𝑎)을 사전훈련합니다. 이때 단일 스트림 모델만 보여집니다. (b) 사전훈련된 소스 모델을 사용하여 레이블이 없는 대상 도메인 비디오(D𝑡)에 대해 가상 레이블(𝑦ˆ)을 생성합니다. 이 가상 레이블들은 소스와 대상 도메인 간의 도메인 이동으로 인해 불완전합니다. (c) 클린 샘플 선택 모듈을 사용하여 작은 손실을 가진 샘플들을 잠재적으로 클린 샘플로 선택합니다(D𝑐𝑙). 이 클린 샘플들을 이용해 해당 가상 레이블(𝑦ˆ)을 사용하여 사전훈련된 모델을 미세 조정합니다. 이 단계는 여러 번 반복됩니다. ⇒ CleanAdapt 프레임워크는 레이블이 부착된 소스 도메인 비디오를 사용하여 모델을 사전..

[논문 리뷰] Source-Free Video Domain Adaptation with Spatial-Temporal-Historical Consistency Learning(CVPR, 2023)

STHC제안된 STHC 방법론은 두 단계로 구성됩니다. 첫 번째는 레이블이 붙은 소스 비디오를 사용한 소스 모델의 사전훈련 단계이고, 두 번째는 레이블이 없는 대상 비디오를 이용해 모델을 적응시키는 적응 단계입니다. 적응 단계에서는 비디오에 공간적, 시간적 증강을 적용하고, 세 가지 일관성 기술을 통해 일관된 예측을 도모합니다. 또한, 엔트로피 최소화 손실을 통해 모델이 다양하면서도 정확한 예측을 하도록 유도합니다.

[Time-series 논문 리뷰] Source-Free Domain Adaptation with Temporal Imputation for Time Series Data(KDD, 2023)

Abstractsource free domain adaptationsource data로 pretrain된 모델을, $x_t$로만 adaptation 시키는 것기존 연구 한계비전쪽에서는 널리 사용, but 시계열에서는 사용X비전쪽에서 설계된 기존 SFDA → 시계열의 동적 특성 처리X제안하는 것: MAPU소스 도메인의 시간 정보를 포착하기 위해, 우리의 방법은 시계열 신호에 무작위 마스킹을 수행하면서 임베딩 공간에서 마스킹된 버전에서 원래 신호를 복구하기 위해 새로운 시간적 이입자를 활용adaptation 단계에서, 이입자 네트워크는 소스 특성과 시간적으로 일관된 타겟 특성을 생성하도록 타겟 모델을 안내하는 데 사용1. INTRODUCTION[1] UDA 소개UDA?미리 라벨이 지정된 소스 데이터를 이용..

[Time-series 논문 리뷰] Self-supervised Autoregressive Domain Adaptation for Time Series Data(IEEE, 2021)

Abstract이전 UDA 방법: 지역x 전역 초점제안모델: SLARDA자기감독 학습 모듈 → 예측에 활용하여 source 특성의 전이성 개선도메인 정렬 → 도메인 정렬 동안 소스 및 타겟 특성의 시간 의존성을 통합하는 새로운 자기회귀 도메인 적응 기술을 제안confidence pseudo labeling(앙상블 teacher모델) → target domain에서 class별 분포 정렬IntroductionDL 기반 접근 방식은 항상 훈련 데이터(즉, 소스 도메인)와 테스트 데이터(즉, 타겟 도메인)가 동일한 분포에서 추출되었다고 가정비전 UDA: MMD, GAN 방식 많이 사용시계열 적용의 어려움동적 특성 포착 어려움기존 pretrain모델은 imageNet기반, 시계열에 부적합시계열 기존 연구 흐름:..

[Time-series 논문 리뷰] SEnsor Alignment for Multivariate Time-Series Unsupervised Domain Adaptation(AAAI, 2023)

0. Abstract**비지도 도메인 적응(**Unsupervised Domain Adaptation, UDA)한 영역(도메인)에서 알려진 정보(레이블이 붙은 데이터)를 다른 비슷하지만 약간 다른 영역(레이블 없는 데이터가 있는)으로 전달하는 방법→ 다변량 시계열 데이터에는 적용 불가다변량 시계열 데이터(MTS)다양한 분포를 따르는 여러 센서에서 수집대부분의 UDA 방법은 global 특성만을 정렬하는 데 중점을 두고 각 센서의 고유한 분포를 고려하지 못함 (세부적인건 고려 못함)⇒ 다변량 시계열 비지도 도메인 적응(Multivariate Time-Series Unsupervised Domain Adaptation, MTS-UDA)으로 설정.제안: 센서 정렬(SEnsor Alignment, SEA)MTS..

[Time-series 논문 리뷰] Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting

0. Abstract트랜스포머 한계점joint distribution으로 시간에 따라 변하는 비정상적인 실세계 데이터에서 그 성능이 크게 저하이전 연구 동향예측 가능성 개선 위해, 원본 series의 비정상성 완화하는 stationarization 채택But, 본질적인 비정상성을 잃은 정규화된 series는 실세계의 갑작스러운 사건을 예측하는 데 대처 어려움⇒ ‘과도한 정규화’: 트랜스포머가 다양한 series에 대해 구별할 수 없는 시간적 attention생성하여, 깊은 모델의 예측력 저해⇒ series의 예측 가능성과 모델 능력 사이의 딜레마를 해결하기 위해, 우리는 series stationarization와 non-stationary attention라는 두 개의 상호 의존..

[Time-series 논문 리뷰] Dish-TS: A General Paradigm for Alleviating Distribution Shift in Time Series Forecasting(AAAI, 2023)

0. Abstractseries분포변화 해결하는 기존 연구 한계대부분 분포의 정량화에 한정lookback window, horizon windows 사이의 잠재적 변화 간과분포 변화 정의룩백 창을 입력 공간으로, 수평 창을 출력 공간으로 간주할 때,(i) 입력 공간 내에서 시간이 지남에 따라 지속적으로 변화하는 내부 공간 변화(ii) 입력 공간과 출력 공간 사이에서 변화하는 외부 공간 변화가 존재제안하는 것: Dish-TSCONET: 더 나은 분포 추정을 위해, 우리는 입력 시퀀스를 학습 가능한 분포 계수로 매핑할 수 있는 어떠한 신경 구조도 가능Dual-CONET 프레임워크: 내부 공간과 외부 공간 변화를 완화하기 위해, 우리는 Dish-TS를 Dual-CONET 프레임..

[Time-series 논문 리뷰] A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data(AAAI, 2019)

Abstract기존 연구 한계점시간적 의존성 포착 + 서로 다른 시계열 쌍 사이의 상호연관성 + 잡음에 강함 + 사고의 심각성에 따라 다른 anomaly score 제공제안하는 것: MSCRED다중 스케일 합성곱 재귀 인코더-디코더다중 해상도의 서명 행렬을 구성하여 다양한 시간 단계에서 시스템 상태의 여러 수준을 특성화