윤지

0. Abstract시계열 비지도 이상 탐지기존 방법들(둘다 잘 안됨) pointwise representation, pairwise association(transformer) 통합모델링: pointwise representation+pairwise association각 timepoint의 self attention weight분포 → 전체 series와의 풍부한 연관성 내포가능이 연구에서의 문제 정의이상이 드물기에, anomaly point로부터 전체 series에 대한 중요한 연관성 구축 어려움따라서 전체보단, 주로 인접한 time point들과 연관성 집중될 것 (=인접 집중 편향)(이 연구에서,,) 정상과 이상점들 사이의 구별가능한 연관성 기준 내포**(=연광..

ABSTRACT시계열 이상 감지의 중요성: 웹 시스템은 실시간으로 이상을 감시하고 식별하기 위해 시계열 데이터에 의존합니다. 이는 시스템의 진단과 복구 절차를 시작하는 데 중요한 역할을 합니다.VAE의 인기와 한계: 변이형 오토인코더(VAE)는 우수한 노이즈 제거 능력으로 인해 이상 감지 분야에서 인기를 얻었습니다. 그러나 VAE 기반 방법은 장기간의 이질적 패턴과 단기간 trend를 동시에 포착하는 데 어려움을 겪습니다.FCVAE의 제안: 이러한 도전을 극복하기 위해, 단변량 시계열 데이터를 위한 주파수 강화 조건부 변이형 오토인코더(FCVAE)라는 새로운 비지도 학습 이상 감지 방법을 제안합니다.혁신적 접근 방식: FCVAE는 조건부 변이형 오토인코더의 조건에 전역 및 지역 주파수 특성을 동..

0. Abstract스트리밍 데이터의 이상 탐지는 전통적인 방법들로는 처리하기 어려운 복잡성을 가지고 있음스트리밍 데이터의 주요 도전 과제에 대응하기 위해 8개의 최신 알고리즘을 테스트하고 평가연구 결과는 알고리즘 선택에 있어 데이터의 지역성, 상대성, 개념 변화와 같은 특성이 중요한 영향을 미친다는 것을 보여줌locality이상치가 지역적 맥락에 상대적인지 여부)relativeness과거 데이터가 이상치를 정의하는지 여부concept drift그 강도와 빈도⇒ 대부분의 경우 사전에 역사적 데이터와 도메인 지식을 통해 추론될 수 있음실제 환경에서 스트리밍 데이터의 이상 탐지를 위한 중요한 발견을 제공1. Introduction[1] 데이터 스트림 vs 다변..

공식 코드 https://github.com/ngruver/llmtime GitHub - ngruver/llmtime Contribute to ngruver/llmtime development by creating an account on GitHub. github.com 0. Abstract LLM + 시계열 성공이유 multimodal distributions를 표현할 수 있는 능력 단순성과 반복에 대한 편향이 결합되어 있기 때문 이는 많은 시계열에서 두드러지는 특징들(=반복되는 계절적 추세와 일치) LLM + 시계열 사용 이점 LLM들이 비수치적 텍스트를 통해 보정 없이 결측 데이터를 자연스럽게 처리가능 텍스트 측면 정보를 수용하며, 예측을 설명하는 데 도움이 되는 질문에 답할 수 있음 1. Int..

Abstract SelfMatch (이 논문에서 제시한 모델 !!) 목적: 시계열 분류 (TSC) TSC를 위한 특징 추출기인 ResNet–LSTMaN을 설계하여 특징 및 관계 추출을 담당 방법: supervised + unsupervised + self distillation unsupervised: (pseudo labeling 적용) label data에 대한 feature extract (레이블이 지정된 데이터와 지정되지 않은 데이터 간의 연결을 탐색) 약하게 증가된 시퀀스는 같은 시퀀스의 Timecut-증가된 버전의 예측을 안내하는 목표 (= 어떤 데이터 시퀀스의 변화를 이해하고 이를 기반으로 미래의 변화를 예측) self distillation: 높은 수준에서 낮은 수준으로의 지식흐름 → 낮은..

0. Abstract 제안된 접근법 제한된 샘플 수에서 핵심정보 추출&진단&예측 솔루션 개발 고장 진단관련해서, 3개의 실제 데이터셋+2가지 유형의 기계학습 방법 사용 1. INTRODUCTION 문제 상황 정의 데이터 부족 문제: PHM(장비 및 시스템의 고장 진단 및 예측) 라벨이 없거나, 사용 가능한 경우에도 신뢰할 수 없는 경우 → 성능 떨어지거나 실행가능하지 않을 수 있음. 해결법: 데이터 증강 방법으로 해결하는 연구 많이 수행됨 제안하는 모델(TVAR) 시간 변화하는 자기회귀(TVAR)모델 기반으로 다변량 시계열 데이터 증강을 위한 방법 목표: 부족한 데이터에서 정보 추출 & 진단 및 예측 솔루션의 품질개선할 수 있는 방식으로 추가 샘플 생성 & 비정상 시계열 직접 처리 가능 2. BACKGR..

0. Abstract 산업 고장 진단에서 고장 분류는 일반적인 문제임 classifier는 대체로 다양한 클래스 간에 동등한 양의 데이터를 가정하에 구축됨 하지만, 산업 공정에서 수집되는 정상과 고장 데이터의 양은 불균형이 대부분임 ⇒ 문제점의 본질: 고장 분류가 불균형 데이터 분류 문제임 문제 해결 방법: 데이터 증강 방법 (더 많은 데이터 생성 & 데이터 균형 맞추는 데에 사용) 생성된 데이터의 품질이 분류 성능에 큰 영향 ⇒ 생성된 데이터의 품질 보장 위해, 이 논문에선 시계열 데이터 생성의 변이형 오토인코더 사용(VAE) 제안하는 것 : 생성된 시계열 데이터 활용하여 불균형 고장 분류 문제 해결을 위한 TSDAC(시계열 데이터 증강 분류기) 테네시 이스트만(TE) 벤치마크 공정에 적용 TSDAC는..

0. Abstract 분류 모델에서 확률 예측이 실제 correctness likelihood를 잘 반영하는 Confidence calibration은 여러 응용 분야에서 중요. 현대 신경망은 예전과 달리 종종 적절한 보정이 부족한 경우가 있음. (= 현대 주요 딥러닝 모델들의 공통점: 크고 넓고 높은 정확도 가짐→but 신뢰도 하락 중) 이 연구는 신경망 학습에 대한 통찰력을 제공하며, Platt Scaling의 단순화된 형태인 temperature 조정으로 효과적인 보정을 할 수 있는 방법을 제안. 1. Introduction 실제 의사 결정 시스템에서 분류 신경망은 정확성 뿐만 아니라 잘못될 가능성이 높을 때를 나타내야 함. 따라서 보정된 신뢰 추정은 모델 해석에도 중요. 좋은 신뢰 추정은 사용자와..

0. Abstract 불확실성 하에서의 추론은 기계 학습 시스템에서 중요한 부분 예를 들어 Bayesian 방법은 불확실성을 양적화하기 위한 일반적인 프레임워크를 제공하지만, 모델의 오차 추정(model misspecification)과 근사 추론(approximate inference) 사용으로 인해 정확하지 않을 수 있음. 이 논문에서는 회귀 알고리즘을 보정(calibrate)하는 간단한 절차를 제안 이 절차는 Bayesian 및 확률적 모델에 적용할 때 충분한 데이터가 주어지면 보정된 불확실성 추정을 보장 이 방법은 Platt 스케일링에서 영감을 받아 이전의 classification 작업에 대한 연구를 확장한 것 1. Introduction 기존 Bayesian 방법의 문제점을 나타내는 그림 위:..

Abstract 본 연구가 다루는 Task는 다변량 시계열 예측 대조학습과 트랜스포머 기반 모델이 좋은 성능을 거뒀었지만 몇 가지 문제점 존재 대조학습 기반 사전학습과 Downstream 예측 Task가 Inconsistent함 트랜스포머 기반 모델은 심각한 Distribution shift 문제를 야기하게 되고, 자기지도 학습 방법들에 비해 시퀀스 정보를 제대로 활용하지 못함 Ti-MAE는 완벽한 distribution을 따르도록 입력 시계열이 가정되어 있음 시계열 일부를 마스킹하고 point-level에서 재복원하는 모델 마스크 모델링을 auxiliary task로 채택하고 기존의 표현학습과 생성 트랜스포머 기반 방법론을 연결하여 upstream과 downstream 예측 task의 차이를 줄임 실험..