전체 글 78

[서베이 정리] A review on outlier/anomaly detection in time series data

1. INTRODUCTION 이상치란 ?단변량 시계열1형 이상치: 단일 관측치에 영향2형 이상치: 특정 관측치와 그 이후 관측치에 영향↓ 4종류 이상치로 확장 ↓다변량 시계열이상치의 관점 변화고전적 관점의 이상치다른 관측값과 너무 다르게 벗어나 의심을 불러일으키는 관측값시계열에서 이상치의 2가지 의미Unwanted data → Data cleaning잡음, 오류, 원하지 않는 데이터삭제, 수정ex. 센서 전송 오류; 정확한 예측 얻기 위해 제거Event of interest → outlier자체 분석이상하지만 흥미로운 현상 탐지 위함ex. 사기 탐지  2. A TAXONOMY OF OUTLIER DETECTION TECHNIQUES IN THE TIME SERIES CONTEXT 2.1 Input da..

[서베이 정리] Large Language Models for Data Annotation: A Survey

PreliminariesScenario: unsupervised learningTechnique 방법: IOP, ICL, CoT, IT, AT 등 LLM-Based Data AnnotationManually Engineered Prompts(수동으로 설계된 프롬프트)  제로샷 (Zero-Shot)개념: 제로샷 학습은 LLM에게 예시 없이 작업을 수행하도록 요청하는 방법입니다. 즉, LLM이 이전에 본 적이 없는 새로운 작업에 대해 바로 응답을 생성해야 합니다.사용법:프롬프트 생성: 특정 작업에 대한 명령어를 포함한 프롬프트를 작성합니다.출력 획득: LLM에게 프롬프트를 제공하고 응답을 받습니다예시: Prompt: "Translate the following English sentence to French..

[논문 리뷰] Source-free Video Domain Adaptation by Learning Temporal Consistency for Action Recognition(CVPR, 2022)

ATCoN소스 모델과 동일한 구조를 가진 공간 및 시간 특성 추출기를 사용하고, 이는 소스 특성 추출기로 초기화됩니다. 이 모델은 로컬 시간 특성들로부터 전반적인 시간적 특성을 학습함으로써 특성 일관성과 소스 예측 일관성을 동시에 유지합니다. 로컬 가중치 모듈(LWM)은 더 정확하다고 판단되는 로컬 시간적 특성에 집중합니다. 최종적으로, 고정된 소스 분류기를 사용하여 이러한 전반적인 시간적 특성에 기반한 예측을 도출  ⇒ 모델은 소스 모델과 동일한 구조의 공간 및 시간 특성 추출기를 사용하며, 이는 소스 특성 추출기로 초기화됩니다. 로컬 시간적 특성에서 전반적인 시간적 특성을 학습함으로써 특성 및 소스 예측 일관성을 유지합니다. 로컬 가중치 모듈(LWM)은 정확도가 높은 로컬 특성에 집중하고, 최종 예측..

[논문 리뷰] Overcoming Label Noise for Source-free Unsupervised Video Domain Adaptation(ICVGIP, 2023)

CleanAdapt(a) 첫 번째 단계에서는 레이블이 붙은 소스 도메인 비디오(D𝑠)를 이용해 모델(𝑓𝑎)을 사전훈련합니다. 이때 단일 스트림 모델만 보여집니다. (b) 사전훈련된 소스 모델을 사용하여 레이블이 없는 대상 도메인 비디오(D𝑡)에 대해 가상 레이블(𝑦ˆ)을 생성합니다. 이 가상 레이블들은 소스와 대상 도메인 간의 도메인 이동으로 인해 불완전합니다. (c) 클린 샘플 선택 모듈을 사용하여 작은 손실을 가진 샘플들을 잠재적으로 클린 샘플로 선택합니다(D𝑐𝑙). 이 클린 샘플들을 이용해 해당 가상 레이블(𝑦ˆ)을 사용하여 사전훈련된 모델을 미세 조정합니다. 이 단계는 여러 번 반복됩니다. ⇒ CleanAdapt 프레임워크는 레이블이 부착된 소스 도메인 비디오를 사용하여 모델을 사전..

[논문 리뷰] Source-Free Video Domain Adaptation with Spatial-Temporal-Historical Consistency Learning(CVPR, 2023)

STHC제안된 STHC 방법론은 두 단계로 구성됩니다. 첫 번째는 레이블이 붙은 소스 비디오를 사용한 소스 모델의 사전훈련 단계이고, 두 번째는 레이블이 없는 대상 비디오를 이용해 모델을 적응시키는 적응 단계입니다. 적응 단계에서는 비디오에 공간적, 시간적 증강을 적용하고, 세 가지 일관성 기술을 통해 일관된 예측을 도모합니다. 또한, 엔트로피 최소화 손실을 통해 모델이 다양하면서도 정확한 예측을 하도록 유도합니다.

[Time-series 논문 리뷰] Source-Free Domain Adaptation with Temporal Imputation for Time Series Data(KDD, 2023)

Abstractsource free domain adaptationsource data로 pretrain된 모델을, $x_t$로만 adaptation 시키는 것기존 연구 한계비전쪽에서는 널리 사용, but 시계열에서는 사용X비전쪽에서 설계된 기존 SFDA → 시계열의 동적 특성 처리X제안하는 것: MAPU소스 도메인의 시간 정보를 포착하기 위해, 우리의 방법은 시계열 신호에 무작위 마스킹을 수행하면서 임베딩 공간에서 마스킹된 버전에서 원래 신호를 복구하기 위해 새로운 시간적 이입자를 활용adaptation 단계에서, 이입자 네트워크는 소스 특성과 시간적으로 일관된 타겟 특성을 생성하도록 타겟 모델을 안내하는 데 사용1. INTRODUCTION[1] UDA 소개UDA?미리 라벨이 지정된 소스 데이터를 이용..

[Time-series 논문 리뷰] Self-supervised Autoregressive Domain Adaptation for Time Series Data(IEEE, 2021)

Abstract이전 UDA 방법: 지역x 전역 초점제안모델: SLARDA자기감독 학습 모듈 → 예측에 활용하여 source 특성의 전이성 개선도메인 정렬 → 도메인 정렬 동안 소스 및 타겟 특성의 시간 의존성을 통합하는 새로운 자기회귀 도메인 적응 기술을 제안confidence pseudo labeling(앙상블 teacher모델) → target domain에서 class별 분포 정렬IntroductionDL 기반 접근 방식은 항상 훈련 데이터(즉, 소스 도메인)와 테스트 데이터(즉, 타겟 도메인)가 동일한 분포에서 추출되었다고 가정비전 UDA: MMD, GAN 방식 많이 사용시계열 적용의 어려움동적 특성 포착 어려움기존 pretrain모델은 imageNet기반, 시계열에 부적합시계열 기존 연구 흐름:..

[Time-series 논문 리뷰] SEnsor Alignment for Multivariate Time-Series Unsupervised Domain Adaptation(AAAI, 2023)

0. Abstract**비지도 도메인 적응(**Unsupervised Domain Adaptation, UDA)한 영역(도메인)에서 알려진 정보(레이블이 붙은 데이터)를 다른 비슷하지만 약간 다른 영역(레이블 없는 데이터가 있는)으로 전달하는 방법→ 다변량 시계열 데이터에는 적용 불가다변량 시계열 데이터(MTS)다양한 분포를 따르는 여러 센서에서 수집대부분의 UDA 방법은 global 특성만을 정렬하는 데 중점을 두고 각 센서의 고유한 분포를 고려하지 못함 (세부적인건 고려 못함)⇒ 다변량 시계열 비지도 도메인 적응(Multivariate Time-Series Unsupervised Domain Adaptation, MTS-UDA)으로 설정.제안: 센서 정렬(SEnsor Alignment, SEA)MTS..

[Time-series 논문 리뷰] Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting

0. Abstract트랜스포머 한계점joint distribution으로 시간에 따라 변하는 비정상적인 실세계 데이터에서 그 성능이 크게 저하이전 연구 동향예측 가능성 개선 위해, 원본 series의 비정상성 완화하는 stationarization 채택But, 본질적인 비정상성을 잃은 정규화된 series는 실세계의 갑작스러운 사건을 예측하는 데 대처 어려움⇒ ‘과도한 정규화’: 트랜스포머가 다양한 series에 대해 구별할 수 없는 시간적 attention생성하여, 깊은 모델의 예측력 저해⇒ series의 예측 가능성과 모델 능력 사이의 딜레마를 해결하기 위해, 우리는 series stationarization와 non-stationary attention라는 두 개의 상호 의존..