2024 딥러닝 59

[Time-series 논문 리뷰] Revisiting VAE for Unsupervised Time Series Anomaly Detection: A Frequency Perspective (KDD,2024)

ABSTRACT시계열 이상 감지의 중요성: 웹 시스템은 실시간으로 이상을 감시하고 식별하기 위해 시계열 데이터에 의존합니다. 이는 시스템의 진단과 복구 절차를 시작하는 데 중요한 역할을 합니다.VAE의 인기와 한계: 변이형 오토인코더(VAE)는 우수한 노이즈 제거 능력으로 인해 이상 감지 분야에서 인기를 얻었습니다. 그러나 VAE 기반 방법은 장기간의 이질적 패턴과 단기간 trend를 동시에 포착하는 데 어려움을 겪습니다.FCVAE의 제안: 이러한 도전을 극복하기 위해, 단변량 시계열 데이터를 위한 주파수 강화 조건부 변이형 오토인코더(FCVAE)라는 새로운 비지도 학습 이상 감지 방법을 제안합니다.혁신적 접근 방식: FCVAE는 조건부 변이형 오토인코더의 조건에 전역 및 지역 주파수 특성을 동..

[서베이 정리] Anomaly detection in streaming data: A comparison and evaluation study

0. Abstract스트리밍 데이터의 이상 탐지는 전통적인 방법들로는 처리하기 어려운 복잡성을 가지고 있음스트리밍 데이터의 주요 도전 과제에 대응하기 위해 8개의 최신 알고리즘을 테스트하고 평가연구 결과는 알고리즘 선택에 있어 데이터의 지역성, 상대성, 개념 변화와 같은 특성이 중요한 영향을 미친다는 것을 보여줌locality이상치가 지역적 맥락에 상대적인지 여부)relativeness과거 데이터가 이상치를 정의하는지 여부concept drift그 강도와 빈도⇒ 대부분의 경우 사전에 역사적 데이터와 도메인 지식을 통해 추론될 수 있음실제 환경에서 스트리밍 데이터의 이상 탐지를 위한 중요한 발견을 제공1. Introduction[1] 데이터 스트림 vs 다변..

[Deep-Learning 개념] 최대 평균 불일치(MMD)

MMD정의확률 분포 간의 차이를 측정하는 효과적 방법 중 하나역할데이터셋 간의 차이를 수치화 하기 위한 역할활용Domain Adaptation, 커널기반 방법, 생성 모델링 MMD정의두 확률 분포간의 차이점을 평가하기 위해 고안된 측정지표핵심커널함수를 선정하는 작업기본 아이디어재생 커널 힐베르트 공간(RKHS)에서 분포의 평균 임베딩 차이를 계산하는 것힐베이트: 무한차원의 공간임베딩: 각 데이터에 일대일대응하는 벡터뭉치⇒ 고차원 공간에서 함수의 기댓값(평균)간의 불일치 평가하여 차이점을 정량화MMD 구성요소커널 함수입력 공간의 데이터포인트를 고차원공간에 변환하는 역할결정경계가 단순한 초평면이 아닌 복잡한 문제를 해..

[Manufacturing 논문 리뷰] Multi-Layer domain adaptation method for rolling bearing fault diagnosis

0. Abstract레이블이 지정된 훈련 데이터(소스 도메인)의 분포가 **레이블이 없는 테스트 데이터(타겟 도메인)**의 분포와 다르다는 도메인 이동 문제가 일반적으로 발생제안점(롤링 베어링 결함진단 위한 새로운 도메인 적응 방법)Deep CNN 사용됨다중 레이어에서 두 도메인 간의 다중 커널 최대 평균차이(MMD) 최소화하여,소스 도메인에서 supervised learning 통해 학습된 표현이 타겟 도메인에 적용될수있도록⇒ 도메인 불변 특징 효율적 추출가능 & cross domain 성능 크게 향상 가능1. Introduction[1] rolling element bearing과 domain shift 문제 정의rolling element bearing중공업 기계, 제..

[Manufacturing 논문 리뷰] Lightweight Long Short-Term Memory VariationalAuto-Encoder for Multivariate Time Series Anomaly Detectionin Industrial Control Systems

LSTM-VAE관련 3. Methodology 첫 번째 단계인 입력 단계에서는 데이터 집합을 전처리합니다. 우리의 방법론은 특징 선택, 특징 정규화 및 창 추출이라는 여러 전처리 단계를 포함합니다. 특징 선택은 입력 데이터 집합의 개별 특징에 대해 수행됩니다. 특징은 이상 탐지 작업에 동일하게 기여하지 않을 수 있습니다. 특징은 중복될 수 있으며 (즉, 다른 특징보다 이상 샘플과 이상이 없는 샘플을 잘 구분하지 못할 수 있음) 훈련 집합에서의 특징 값 분포가 테스트 집합에서의 특징 값 분포와 크게 다를 수 있습니다. 특징 선택은 이상 탐지기의 성능에 큰 영향을 미치므로 중요합니다. 특징 정규화 단계에서는 개별 특징 값이 정규화됩니다. 특징 정규화는 이상 탐지 성능에 큰 영향을 미치며, 기계 학습 알고리즘..

[논문 리뷰] Semi-supervised Domain Adaptation via Sample-to-Sample Self-Distillation(WACV, 2022)

0. Abstract 선생님과 학생 사이의 중간 스타일을 전달하여 보조 특징을 생성하고, 그런 다음 학생과 보조 사이의 출력 불일치를 최소화함으로써 모델을 훈련시킵니다. 훈련 중에 보조들은 두 도메인 간의 불일치를 서서히 줄이므로 학생이 선생님으로부터 쉽게 학습할 수 있도록 1. Introduction 도메인 적응의 목표는 원래 도메인(소스)에서 사용 가능한 레이블 데이터를 사용하여 학습자를 새로운 도메인(타겟)에 적응시키는 것 도메인 내 불일치와 도메인 간 불일치 고려 AF가 굳이 필요한 이유: 혼합 스타일 특징으로 훈련하는 것은 도메인 불일치를 줄이는 데 도움이 됩니다 [12, 45]. 이 사실에서 영감을 받아 보조 특징은 선생님과 학생 사이의 중간 스타일을 전송하여 생성됩니다. 그런 다음 모델은 학..

[Manufacturing 논문 리뷰] Analytical investigation of autoencoder-based methods for unsupervised anomaly detection in building energy data

0. Abstract 오토인코더 고차원 data representation의 unsupervised learning에 매우 강력함 오토인코더 기반 앙상블 다양한 오토인코더 유형/학습 방식에 대한 포괄적인 비교 제공 1. Introduction supervised 이상탐지 이상 탐지를 위한 모델 기반 접근법 SVM과 multi layer과 같은 감독 학습 알고리즘 output 1) 이상 탐지는 예측 값과 실제 값 사이의 차이를 기반으로 수행 2) 관찰이 이상인지 아닌지를 직접 나타내는 레이블을 사용하는 것 이진 or 다중 클래스 분류 문제로 변환 한계 고품질 훈련 데이터를 얻는 것이 시간이 많 관찰이 비정상인지 아닌지에 대한 레이블(또는 근거 사실)을 얻는 것이 비용이 많이 들고 때로는 실현 불가능 uns..

[Manufacturing 논문 리뷰] Unsupervised Online Anomaly Detection onMultivariate Sensing Time Series Datafor Smart Manufacturing(SOCA, 2019)

Abstract 연구 목표 생산 라인의 초기 단계에서 이상 탐지 정확도를 향상시켜, 잠재적인 생산 실패로 인한 비용과 시간의 낭비를 줄임 LSTM기반 오토인코더 (unsupervised 실시간 이상탐지) Introduction 도전적인 문제 공장 가공 라인의 제조 장비에 설치된 센서에서 수집된 다변량 시계열 데이터셋을 사용하여 이상 탐지 문제를 연구 이상 데이터 레코드가 제한적이고, 이상 패턴이 매우 불규칙하며, 탐지가 시간적으로 정확해야 하는 점 때문에 이상 탐지 문제가 어려움 전통적 한계 극복방안 자기회귀 통합 이동 평균과 같은 시계열 분석 모델 기반 동적 시간 왜곡 KNN과 같은 분류 알고리즘 대부분의 분류기는 정확도를 극대화하려는 의도로 불균형 데이터셋에서 성능 떨어짐 제안 모델) LSTM-aut..

[Manufacturing 논문 리뷰] Squeezed convolutional variational AutoEncoder for unsupervised anomaly detection in edge device industrial Internet of Things(ICCIT, 2018)

Abstract SCVAE 시계열 이상탐지위함 압축된 컨볼루션 VAE UCI dataset의 레이블이 붙은 시계열 데이터에 적용됨 SqueezeNet의 Fire모듈을 적용하기 전후의 모델 비교 Introduction 제조 공정에서는 불량과 고장에 대한 레이블이 없음 ⇒ 예측 정비에 앞서 공정의 행동 패턴에 대한 진단이 필요 레이블이 없을때) 비정상적인 행동 패턴을 이상 현상으로 가정 (센서 데이터가 시계열이기 때문에 시계열 데이터의 특성을 반영하는 모델을 찾는 것이 중요) 기존 연구된 모델들 비지도 이상 탐지를 위한 컨볼루션 신경망(CNN) 기반 변이형 오토인코더(VAE) 모델 기존) 클라우드 기반 접근방식 → 현재) 엣지기반 접근방식 일부 컴퓨팅 부하를 에지 장치로 옮겨 실시간 추론을 가능 데이터 통신..