윤지

본 논문에서는 LLM을 활용하여 시계열 데이터에서 이상 탐지하는 방법을 제안하는데, 이를 위해 SIGLLM이라는 프레임워크 개발함. SIGLLM은 시계열 데이터를 text형식으로 변환해 LLM에 입력하고, 이를 기반으로 2가지 접근법을 사용하여 이상을 탐지함. (PROMPTER, DETECTOR) 1. 시계열 데이터 변환 과정 (LLMTIME과 유사)시계열 데이터를 LLM이 처리할 수 있도록 하기 위해 몇가지 전처리 과정을 거침.1) 스케일링(Scaling)- 데이터의 최솟값을 기준으로 값을 이동하여 비음수로 변환함.- 예를 들어, $X=(x_1, x_2, ... , x_T)$가 주어지면, 각 데이터 포인트에 대해 $x_{t}^{'}=x_t-min(X)$로 변환해 음수를 제거하고 데이터의 범위 조절 2)..

- 2024.05.20 기준 311회 인용 - Transformer구조와 Adversarial training을 다변량 시계열 데이터에 접목시킨 연구  ∎ Contribution - Transformer 구조를 통해 기존 다변량 시계열 데이터에서의 anomaly detection 개선 - 전체적인 시점정보와 지역적 시점정보 모두 반영하여 시계열 데이터가 지닌 장단기 특징을 반영 - 두 개의 decoder를 지닌 구조로 Adversarial training을 통해 안정적인 학습 및 불량 탐지 효과 개선하여, 정상에 대해 좀 더 강건하고 일반화된 특징을 적절히 학습  1) Architecture - 1개의 Encoder와 2개의 Decoder로 구성 : Encoder는 기존의 Transformer구조와 동일..

0. Abstract시계열 비지도 이상 탐지기존 방법들(둘다 잘 안됨) pointwise representation, pairwise association(transformer) 통합모델링: pointwise representation+pairwise association각 timepoint의 self attention weight분포 → 전체 series와의 풍부한 연관성 내포가능이 연구에서의 문제 정의이상이 드물기에, anomaly point로부터 전체 series에 대한 중요한 연관성 구축 어려움따라서 전체보단, 주로 인접한 time point들과 연관성 집중될 것 (=인접 집중 편향)(이 연구에서,,) 정상과 이상점들 사이의 구별가능한 연관성 기준 내포**(=연광..

ABSTRACT시계열 이상 감지의 중요성: 웹 시스템은 실시간으로 이상을 감시하고 식별하기 위해 시계열 데이터에 의존합니다. 이는 시스템의 진단과 복구 절차를 시작하는 데 중요한 역할을 합니다.VAE의 인기와 한계: 변이형 오토인코더(VAE)는 우수한 노이즈 제거 능력으로 인해 이상 감지 분야에서 인기를 얻었습니다. 그러나 VAE 기반 방법은 장기간의 이질적 패턴과 단기간 trend를 동시에 포착하는 데 어려움을 겪습니다.FCVAE의 제안: 이러한 도전을 극복하기 위해, 단변량 시계열 데이터를 위한 주파수 강화 조건부 변이형 오토인코더(FCVAE)라는 새로운 비지도 학습 이상 감지 방법을 제안합니다.혁신적 접근 방식: FCVAE는 조건부 변이형 오토인코더의 조건에 전역 및 지역 주파수 특성을 동..

0. Abstract스트리밍 데이터의 이상 탐지는 전통적인 방법들로는 처리하기 어려운 복잡성을 가지고 있음스트리밍 데이터의 주요 도전 과제에 대응하기 위해 8개의 최신 알고리즘을 테스트하고 평가연구 결과는 알고리즘 선택에 있어 데이터의 지역성, 상대성, 개념 변화와 같은 특성이 중요한 영향을 미친다는 것을 보여줌locality이상치가 지역적 맥락에 상대적인지 여부)relativeness과거 데이터가 이상치를 정의하는지 여부concept drift그 강도와 빈도⇒ 대부분의 경우 사전에 역사적 데이터와 도메인 지식을 통해 추론될 수 있음실제 환경에서 스트리밍 데이터의 이상 탐지를 위한 중요한 발견을 제공1. Introduction[1] 데이터 스트림 vs 다변..

전처리 PCB특징 추출 및 transform test image SURF(이걸로) Scale Invariant Feature Transform (SIFT) 알고리즘의 개선된 버전으로, 계산 복잡성이 적고 SIFT에 비해 빠르게 실행 SURF와 SIFT로 선택된 특징점은 모두 안정적이며 회전, 스케일, 밝기에 불변 SIFT SIFT는 스케일과 회전 변환에 있어서 더 나은 매칭 효과를 가지지만, 밝기 변화에 있어서는 SURF가 더 나은 매칭 효과를 가지므로, 실제 응용 시나리오를 고려하여 PCB 등록에는 SURF가 선택 ⇒ 템플릿과 테스트 이미지의 SURF 특징점을 얻은 후, 매칭 포인트를 통해 2차원 기하학적 변환을 추정하고, 테스트 이미지를 기하학적 변환으로 회복 이진화 : 바이너리 맵을 사용하면 PCB..

0. Abstract 오토인코더 고차원 data representation의 unsupervised learning에 매우 강력함 오토인코더 기반 앙상블 다양한 오토인코더 유형/학습 방식에 대한 포괄적인 비교 제공 1. Introduction supervised 이상탐지 이상 탐지를 위한 모델 기반 접근법 SVM과 multi layer과 같은 감독 학습 알고리즘 output 1) 이상 탐지는 예측 값과 실제 값 사이의 차이를 기반으로 수행 2) 관찰이 이상인지 아닌지를 직접 나타내는 레이블을 사용하는 것 이진 or 다중 클래스 분류 문제로 변환 한계 고품질 훈련 데이터를 얻는 것이 시간이 많 관찰이 비정상인지 아닌지에 대한 레이블(또는 근거 사실)을 얻는 것이 비용이 많이 들고 때로는 실현 불가능 uns..

Abstract 연구 목표 생산 라인의 초기 단계에서 이상 탐지 정확도를 향상시켜, 잠재적인 생산 실패로 인한 비용과 시간의 낭비를 줄임 LSTM기반 오토인코더 (unsupervised 실시간 이상탐지) Introduction 도전적인 문제 공장 가공 라인의 제조 장비에 설치된 센서에서 수집된 다변량 시계열 데이터셋을 사용하여 이상 탐지 문제를 연구 이상 데이터 레코드가 제한적이고, 이상 패턴이 매우 불규칙하며, 탐지가 시간적으로 정확해야 하는 점 때문에 이상 탐지 문제가 어려움 전통적 한계 극복방안 자기회귀 통합 이동 평균과 같은 시계열 분석 모델 기반 동적 시간 왜곡 KNN과 같은 분류 알고리즘 대부분의 분류기는 정확도를 극대화하려는 의도로 불균형 데이터셋에서 성능 떨어짐 제안 모델) LSTM-aut..

Abstract SCVAE 시계열 이상탐지위함 압축된 컨볼루션 VAE UCI dataset의 레이블이 붙은 시계열 데이터에 적용됨 SqueezeNet의 Fire모듈을 적용하기 전후의 모델 비교 Introduction 제조 공정에서는 불량과 고장에 대한 레이블이 없음 ⇒ 예측 정비에 앞서 공정의 행동 패턴에 대한 진단이 필요 레이블이 없을때) 비정상적인 행동 패턴을 이상 현상으로 가정 (센서 데이터가 시계열이기 때문에 시계열 데이터의 특성을 반영하는 모델을 찾는 것이 중요) 기존 연구된 모델들 비지도 이상 탐지를 위한 컨볼루션 신경망(CNN) 기반 변이형 오토인코더(VAE) 모델 기존) 클라우드 기반 접근방식 → 현재) 엣지기반 접근방식 일부 컴퓨팅 부하를 에지 장치로 옮겨 실시간 추론을 가능 데이터 통신..

0. Abstract IoT 데이터에 이상 감지 기술을 적용할 때 마주칠 수 있는 도전에 대한 배경을 제공하며, 문헌에서 가져온 IoT 이상 감지의 응용 예를 들어 설명합니다. 우리는 IoT에만 국한되지 않고 다양한 분야에서 개발된 다양한 접근 방법을 논의합니다 이상 감지 분야에서 현재 직면하고 있는 도전을 요약하고, 향후 잠재적인 연구 기회를 식별하는 데 중점 I. Introduction 현재 많은 이상 감지 방법은 이러한 시스템을 활성화하고 생성된 데이터를 추출하고 해석하는 데 상당한 인간 상호작용을 필요로 합니다. 전문가가 시스템 상태를 나타내는 작은 데이터 부분을 보고 수동으로 관심 있는 추세와 패턴을 식별하는 것이 상대적으로 쉽습니다. 하지만 시스템이 작더라도 이러한 추세를 수동으로 식별하기 어..