domain adaptation 12

[Time-series 논문 리뷰] DACAD: Domain Adaptation Contrastive Learning for Anomaly Detection in Multivariate Time Series

문제 설정- DACAD는 라벨이 없는 타겟 시계열 데이터셋 T에서 라벨이 있는 소스 데이터셋 S를 사용하여 이상탐지하는 모델- 소스 데이터는 정상과 이상 라벨O, 타겟 데이터는 라벨X Anomaly Injection- 타겟 데이터에 라벨이 없기에, DACAD는 이상 주입 방법으로 합성된 이상을 만들어냄- 이 과정에서 소스 데이터의 정상 샘플 $S_{norm}$과 타겟 데이터 T에 합성 이상을 추가하여 새로운 샘플 집합 $S_{inj}$와 $T_{inj}$를 생성함- 모델이 다양한 유형의 이상 학습하는데에 도움됨 TCN- TCN을 통해 시계열 window의 주요 특징 추출- 변환된 특징 공간에서 4가지로 나눌 수 있음- $\varphi^R(S)$ : 소스 window의 representation- $\va..

[논문 리뷰] Source-free Video Domain Adaptation by Learning Temporal Consistency for Action Recognition(CVPR, 2022)

ATCoN소스 모델과 동일한 구조를 가진 공간 및 시간 특성 추출기를 사용하고, 이는 소스 특성 추출기로 초기화됩니다. 이 모델은 로컬 시간 특성들로부터 전반적인 시간적 특성을 학습함으로써 특성 일관성과 소스 예측 일관성을 동시에 유지합니다. 로컬 가중치 모듈(LWM)은 더 정확하다고 판단되는 로컬 시간적 특성에 집중합니다. 최종적으로, 고정된 소스 분류기를 사용하여 이러한 전반적인 시간적 특성에 기반한 예측을 도출  ⇒ 모델은 소스 모델과 동일한 구조의 공간 및 시간 특성 추출기를 사용하며, 이는 소스 특성 추출기로 초기화됩니다. 로컬 시간적 특성에서 전반적인 시간적 특성을 학습함으로써 특성 및 소스 예측 일관성을 유지합니다. 로컬 가중치 모듈(LWM)은 정확도가 높은 로컬 특성에 집중하고, 최종 예측..

[논문 리뷰] Overcoming Label Noise for Source-free Unsupervised Video Domain Adaptation(ICVGIP, 2023)

CleanAdapt(a) 첫 번째 단계에서는 레이블이 붙은 소스 도메인 비디오(D𝑠)를 이용해 모델(𝑓𝑎)을 사전훈련합니다. 이때 단일 스트림 모델만 보여집니다. (b) 사전훈련된 소스 모델을 사용하여 레이블이 없는 대상 도메인 비디오(D𝑡)에 대해 가상 레이블(𝑦ˆ)을 생성합니다. 이 가상 레이블들은 소스와 대상 도메인 간의 도메인 이동으로 인해 불완전합니다. (c) 클린 샘플 선택 모듈을 사용하여 작은 손실을 가진 샘플들을 잠재적으로 클린 샘플로 선택합니다(D𝑐𝑙). 이 클린 샘플들을 이용해 해당 가상 레이블(𝑦ˆ)을 사용하여 사전훈련된 모델을 미세 조정합니다. 이 단계는 여러 번 반복됩니다. ⇒ CleanAdapt 프레임워크는 레이블이 부착된 소스 도메인 비디오를 사용하여 모델을 사전..

[논문 리뷰] Source-Free Video Domain Adaptation with Spatial-Temporal-Historical Consistency Learning(CVPR, 2023)

STHC제안된 STHC 방법론은 두 단계로 구성됩니다. 첫 번째는 레이블이 붙은 소스 비디오를 사용한 소스 모델의 사전훈련 단계이고, 두 번째는 레이블이 없는 대상 비디오를 이용해 모델을 적응시키는 적응 단계입니다. 적응 단계에서는 비디오에 공간적, 시간적 증강을 적용하고, 세 가지 일관성 기술을 통해 일관된 예측을 도모합니다. 또한, 엔트로피 최소화 손실을 통해 모델이 다양하면서도 정확한 예측을 하도록 유도합니다.

[Time-series 논문 리뷰] Source-Free Domain Adaptation with Temporal Imputation for Time Series Data(KDD, 2023)

Abstractsource free domain adaptationsource data로 pretrain된 모델을, $x_t$로만 adaptation 시키는 것기존 연구 한계비전쪽에서는 널리 사용, but 시계열에서는 사용X비전쪽에서 설계된 기존 SFDA → 시계열의 동적 특성 처리X제안하는 것: MAPU소스 도메인의 시간 정보를 포착하기 위해, 우리의 방법은 시계열 신호에 무작위 마스킹을 수행하면서 임베딩 공간에서 마스킹된 버전에서 원래 신호를 복구하기 위해 새로운 시간적 이입자를 활용adaptation 단계에서, 이입자 네트워크는 소스 특성과 시간적으로 일관된 타겟 특성을 생성하도록 타겟 모델을 안내하는 데 사용1. INTRODUCTION[1] UDA 소개UDA?미리 라벨이 지정된 소스 데이터를 이용..

[Time-series 논문 리뷰] Self-supervised Autoregressive Domain Adaptation for Time Series Data(IEEE, 2021)

Abstract이전 UDA 방법: 지역x 전역 초점제안모델: SLARDA자기감독 학습 모듈 → 예측에 활용하여 source 특성의 전이성 개선도메인 정렬 → 도메인 정렬 동안 소스 및 타겟 특성의 시간 의존성을 통합하는 새로운 자기회귀 도메인 적응 기술을 제안confidence pseudo labeling(앙상블 teacher모델) → target domain에서 class별 분포 정렬IntroductionDL 기반 접근 방식은 항상 훈련 데이터(즉, 소스 도메인)와 테스트 데이터(즉, 타겟 도메인)가 동일한 분포에서 추출되었다고 가정비전 UDA: MMD, GAN 방식 많이 사용시계열 적용의 어려움동적 특성 포착 어려움기존 pretrain모델은 imageNet기반, 시계열에 부적합시계열 기존 연구 흐름:..

[Time-series 논문 리뷰] SEnsor Alignment for Multivariate Time-Series Unsupervised Domain Adaptation(AAAI, 2023)

0. Abstract**비지도 도메인 적응(**Unsupervised Domain Adaptation, UDA)한 영역(도메인)에서 알려진 정보(레이블이 붙은 데이터)를 다른 비슷하지만 약간 다른 영역(레이블 없는 데이터가 있는)으로 전달하는 방법→ 다변량 시계열 데이터에는 적용 불가다변량 시계열 데이터(MTS)다양한 분포를 따르는 여러 센서에서 수집대부분의 UDA 방법은 global 특성만을 정렬하는 데 중점을 두고 각 센서의 고유한 분포를 고려하지 못함 (세부적인건 고려 못함)⇒ 다변량 시계열 비지도 도메인 적응(Multivariate Time-Series Unsupervised Domain Adaptation, MTS-UDA)으로 설정.제안: 센서 정렬(SEnsor Alignment, SEA)MTS..

[Time-series 논문 리뷰] When Model Meets New Normals: Test-time Adaptation for Unsupervised Time-series Anomaly Detection(AAAI, 2024)

0. Abstract시계열 이상 감지관측치의 시퀀스로부터 정상성을 학습하여 이상한 시간 단계를 탐지하는 문제를 다룸정상성시간이 지남에 따라 발전하여, 훈련 데이터와 테스트 데이터 사이의 분포 변화로 인해 정상성의 분포가 변할 수 있는 "새로운 정상 문제"를 야기⇒ 비지도 시계열 이상 감지 연구에서 새로운 정상 문제의 유병률을 강조제안점trend 추정 중에 새로운 정상성을 학습하기 위한 self-supervised 접근 방식을 기반으로 한 단순하지만 효과적인 테스트 시간 적응 전략을 제안1. Introduction[1] 비지도 시계열 이상 감지 모델비지도 시계열 이상 감지 모델사용 가능한 훈련 데이터셋에서 정상 패턴을 학습하는 것에 중점정상성 개념; 시간이 지남..

[Manufacturing 논문 리뷰] Multi-Layer domain adaptation method for rolling bearing fault diagnosis

0. Abstract레이블이 지정된 훈련 데이터(소스 도메인)의 분포가 **레이블이 없는 테스트 데이터(타겟 도메인)**의 분포와 다르다는 도메인 이동 문제가 일반적으로 발생제안점(롤링 베어링 결함진단 위한 새로운 도메인 적응 방법)Deep CNN 사용됨다중 레이어에서 두 도메인 간의 다중 커널 최대 평균차이(MMD) 최소화하여,소스 도메인에서 supervised learning 통해 학습된 표현이 타겟 도메인에 적용될수있도록⇒ 도메인 불변 특징 효율적 추출가능 & cross domain 성능 크게 향상 가능1. Introduction[1] rolling element bearing과 domain shift 문제 정의rolling element bearing중공업 기계, 제..