윤지

Abstract SCVAE 시계열 이상탐지위함 압축된 컨볼루션 VAE UCI dataset의 레이블이 붙은 시계열 데이터에 적용됨 SqueezeNet의 Fire모듈을 적용하기 전후의 모델 비교 Introduction 제조 공정에서는 불량과 고장에 대한 레이블이 없음 ⇒ 예측 정비에 앞서 공정의 행동 패턴에 대한 진단이 필요 레이블이 없을때) 비정상적인 행동 패턴을 이상 현상으로 가정 (센서 데이터가 시계열이기 때문에 시계열 데이터의 특성을 반영하는 모델을 찾는 것이 중요) 기존 연구된 모델들 비지도 이상 탐지를 위한 컨볼루션 신경망(CNN) 기반 변이형 오토인코더(VAE) 모델 기존) 클라우드 기반 접근방식 → 현재) 엣지기반 접근방식 일부 컴퓨팅 부하를 에지 장치로 옮겨 실시간 추론을 가능 데이터 통신..

0. Abstract 기존 접근 방식 한계 대량의 센서데이터에서 adaptively extract the efective feature하기 어려움 고장을 정확하게 감지 어려움 고장 진단에 대한 원인 제공 어려움 MTS-CNN (fault detection & diagnosis) (다중 시계열 컨볼루션 신경망) : 반도체 제조에서의 고장 검출과 진단 장점/차별점 과적합 방지 : sliding window + data augmentation → 하위 시계열 생성 CNN-pooling layer : 장비 센서의 주요 feature학습 diagnosis layer : 각 센서의 중요성 확인가능 각 고장과 다른 센서 간의 관계를 식별하고 고장 진단을 위한 유용한 정보 제공 가능 1. Introduction 반도체..

공식 코드 https://github.com/ngruver/llmtime GitHub - ngruver/llmtime Contribute to ngruver/llmtime development by creating an account on GitHub. github.com 0. Abstract LLM + 시계열 성공이유 multimodal distributions를 표현할 수 있는 능력 단순성과 반복에 대한 편향이 결합되어 있기 때문 이는 많은 시계열에서 두드러지는 특징들(=반복되는 계절적 추세와 일치) LLM + 시계열 사용 이점 LLM들이 비수치적 텍스트를 통해 보정 없이 결측 데이터를 자연스럽게 처리가능 텍스트 측면 정보를 수용하며, 예측을 설명하는 데 도움이 되는 질문에 답할 수 있음 1. Int..

Abstract SelfMatch (이 논문에서 제시한 모델 !!) 목적: 시계열 분류 (TSC) TSC를 위한 특징 추출기인 ResNet–LSTMaN을 설계하여 특징 및 관계 추출을 담당 방법: supervised + unsupervised + self distillation unsupervised: (pseudo labeling 적용) label data에 대한 feature extract (레이블이 지정된 데이터와 지정되지 않은 데이터 간의 연결을 탐색) 약하게 증가된 시퀀스는 같은 시퀀스의 Timecut-증가된 버전의 예측을 안내하는 목표 (= 어떤 데이터 시퀀스의 변화를 이해하고 이를 기반으로 미래의 변화를 예측) self distillation: 높은 수준에서 낮은 수준으로의 지식흐름 → 낮은..

Abstract 퓨샷 학습 과제를 위한 심층 신경망의 표현 능력을 개선하는 간단한 접근 방법을 제안 첫 번째로, self-supervised auxiliary loss을 사용하여 특징 임베딩의 엔트로피를 최대화함으로써 최적의 출력 매니폴드를 생성하는 신경망을 훈련합니다. 두 번째 단계에서는 self-supervised 쌍을 함께 묶어 특징 임베딩의 엔트로피를 최소화하고, 학생-교사 간의 교류(KD)를 통해 매니폴드를 제한 Introduction 정리 기존 FSL 연구들 주로 메타 학습을 사용하여 새로운 과제에 대한 기본 학습자를 적응시키거나, 메트릭 학습을 통해 마진을 최대화하는 제약을 적용함으로써 FSL을 접근합 한계 클래스 내 다양성의 중요성을 무시 본 논문의 연구 관점 클래스 내 변화에 불변하는 표..

0. Abstract IoT 데이터에 이상 감지 기술을 적용할 때 마주칠 수 있는 도전에 대한 배경을 제공하며, 문헌에서 가져온 IoT 이상 감지의 응용 예를 들어 설명합니다. 우리는 IoT에만 국한되지 않고 다양한 분야에서 개발된 다양한 접근 방법을 논의합니다 이상 감지 분야에서 현재 직면하고 있는 도전을 요약하고, 향후 잠재적인 연구 기회를 식별하는 데 중점 I. Introduction 현재 많은 이상 감지 방법은 이러한 시스템을 활성화하고 생성된 데이터를 추출하고 해석하는 데 상당한 인간 상호작용을 필요로 합니다. 전문가가 시스템 상태를 나타내는 작은 데이터 부분을 보고 수동으로 관심 있는 추세와 패턴을 식별하는 것이 상대적으로 쉽습니다. 하지만 시스템이 작더라도 이러한 추세를 수동으로 식별하기 어..

(pdf정리본으로 대체합니다. 옮겨적기 귀찮아서 아님..)

0. Abstract Unsupervised Continual Learning 우리는 학습된 특성 표현을 분석하는 체계적인 연구를 수행하고, 비약적인 잊혀짐(catastrophic forgetting)에 대한 더 뛰어난 내구성을 갖고 일관되게 더 나은 성능을 달성하며, 분포 외 작업에 대해 더 나은 일반화를 시키는 것을 보여줍니다. Lifelong Unsupervised Mixup (LUMP) 간단하지만 효과적인 기술을 제안하며 현재 작업과 이전 작업의 인스턴스 사이를 보간하여 비약적인 잊혀짐을 완화 1. Introduction UCL 구현 방법 기존의 SCL 전략을 비지도 지속 학습 프레임워크로 확장하고 현재의 최첨단 표현 학습 기술인 SimSiam (Chen & He, 2021)과 BarlowTwin..

0. Abstract Continual Learning 순차 학습 CURL (비지도 continual learning) 비지도 표현을 학습하는 것 과제 간에 급격한 변화가 있을 때(=한 과제에서 다른 과제로 부드럽게 전환될 때) 데이터가 섞일 때와 같은 시나리오를 탐구 모델 내에서 직접 과제 추론을 수행 새로운 개념을 포착하기 위해 동적으로 확장 기존 정보 유지 위해 추가적인 리허설 기반 기술을 통합 1. Introduction Catastrophic forgetting 학습 알고리즘은 종종 독립 동일 분포 가정을 충족시키기 위해 입력 샘플을 섞어야 함 순차적 데이터로 훈련될 때, 새로운 과제나 개념이 오래된 것을 덮어쓰면서 성능 저하 따라서 현재 정보로 과거 or 미래 정보 성능 개선 가능 ⇒ But,..

(pdf정리본으로 대체합니다. 옮겨적기 귀찮아서 아님..)