윤지

0. 목차1. Loss function 개념 2. 데이터 형식에 따른 손실 함수 3. 데이터 형식에 따른 손실 함수 - 회귀 4. 데이터 형식에 따른 손실 함수 - Entropy, Cross Entropy 5. 데이터 형식에 따른 손실 함수 - Binary, Categorical Cross Entropy 6. Index

LSTM-VAE관련 3. Methodology 첫 번째 단계인 입력 단계에서는 데이터 집합을 전처리합니다. 우리의 방법론은 특징 선택, 특징 정규화 및 창 추출이라는 여러 전처리 단계를 포함합니다. 특징 선택은 입력 데이터 집합의 개별 특징에 대해 수행됩니다. 특징은 이상 탐지 작업에 동일하게 기여하지 않을 수 있습니다. 특징은 중복될 수 있으며 (즉, 다른 특징보다 이상 샘플과 이상이 없는 샘플을 잘 구분하지 못할 수 있음) 훈련 집합에서의 특징 값 분포가 테스트 집합에서의 특징 값 분포와 크게 다를 수 있습니다. 특징 선택은 이상 탐지기의 성능에 큰 영향을 미치므로 중요합니다. 특징 정규화 단계에서는 개별 특징 값이 정규화됩니다. 특징 정규화는 이상 탐지 성능에 큰 영향을 미치며, 기계 학습 알고리즘..

0. Abstract 선생님과 학생 사이의 중간 스타일을 전달하여 보조 특징을 생성하고, 그런 다음 학생과 보조 사이의 출력 불일치를 최소화함으로써 모델을 훈련시킵니다. 훈련 중에 보조들은 두 도메인 간의 불일치를 서서히 줄이므로 학생이 선생님으로부터 쉽게 학습할 수 있도록 1. Introduction 도메인 적응의 목표는 원래 도메인(소스)에서 사용 가능한 레이블 데이터를 사용하여 학습자를 새로운 도메인(타겟)에 적응시키는 것 도메인 내 불일치와 도메인 간 불일치 고려 AF가 굳이 필요한 이유: 혼합 스타일 특징으로 훈련하는 것은 도메인 불일치를 줄이는 데 도움이 됩니다 [12, 45]. 이 사실에서 영감을 받아 보조 특징은 선생님과 학생 사이의 중간 스타일을 전송하여 생성됩니다. 그런 다음 모델은 학..

0. Abstract 오토인코더 고차원 data representation의 unsupervised learning에 매우 강력함 오토인코더 기반 앙상블 다양한 오토인코더 유형/학습 방식에 대한 포괄적인 비교 제공 1. Introduction supervised 이상탐지 이상 탐지를 위한 모델 기반 접근법 SVM과 multi layer과 같은 감독 학습 알고리즘 output 1) 이상 탐지는 예측 값과 실제 값 사이의 차이를 기반으로 수행 2) 관찰이 이상인지 아닌지를 직접 나타내는 레이블을 사용하는 것 이진 or 다중 클래스 분류 문제로 변환 한계 고품질 훈련 데이터를 얻는 것이 시간이 많 관찰이 비정상인지 아닌지에 대한 레이블(또는 근거 사실)을 얻는 것이 비용이 많이 들고 때로는 실현 불가능 uns..

Abstract 연구 목표 생산 라인의 초기 단계에서 이상 탐지 정확도를 향상시켜, 잠재적인 생산 실패로 인한 비용과 시간의 낭비를 줄임 LSTM기반 오토인코더 (unsupervised 실시간 이상탐지) Introduction 도전적인 문제 공장 가공 라인의 제조 장비에 설치된 센서에서 수집된 다변량 시계열 데이터셋을 사용하여 이상 탐지 문제를 연구 이상 데이터 레코드가 제한적이고, 이상 패턴이 매우 불규칙하며, 탐지가 시간적으로 정확해야 하는 점 때문에 이상 탐지 문제가 어려움 전통적 한계 극복방안 자기회귀 통합 이동 평균과 같은 시계열 분석 모델 기반 동적 시간 왜곡 KNN과 같은 분류 알고리즘 대부분의 분류기는 정확도를 극대화하려는 의도로 불균형 데이터셋에서 성능 떨어짐 제안 모델) LSTM-aut..

Abstract SCVAE 시계열 이상탐지위함 압축된 컨볼루션 VAE UCI dataset의 레이블이 붙은 시계열 데이터에 적용됨 SqueezeNet의 Fire모듈을 적용하기 전후의 모델 비교 Introduction 제조 공정에서는 불량과 고장에 대한 레이블이 없음 ⇒ 예측 정비에 앞서 공정의 행동 패턴에 대한 진단이 필요 레이블이 없을때) 비정상적인 행동 패턴을 이상 현상으로 가정 (센서 데이터가 시계열이기 때문에 시계열 데이터의 특성을 반영하는 모델을 찾는 것이 중요) 기존 연구된 모델들 비지도 이상 탐지를 위한 컨볼루션 신경망(CNN) 기반 변이형 오토인코더(VAE) 모델 기존) 클라우드 기반 접근방식 → 현재) 엣지기반 접근방식 일부 컴퓨팅 부하를 에지 장치로 옮겨 실시간 추론을 가능 데이터 통신..

0. Abstract 기존 접근 방식 한계 대량의 센서데이터에서 adaptively extract the efective feature하기 어려움 고장을 정확하게 감지 어려움 고장 진단에 대한 원인 제공 어려움 MTS-CNN (fault detection & diagnosis) (다중 시계열 컨볼루션 신경망) : 반도체 제조에서의 고장 검출과 진단 장점/차별점 과적합 방지 : sliding window + data augmentation → 하위 시계열 생성 CNN-pooling layer : 장비 센서의 주요 feature학습 diagnosis layer : 각 센서의 중요성 확인가능 각 고장과 다른 센서 간의 관계를 식별하고 고장 진단을 위한 유용한 정보 제공 가능 1. Introduction 반도체..

공식 코드 https://github.com/ngruver/llmtime GitHub - ngruver/llmtime Contribute to ngruver/llmtime development by creating an account on GitHub. github.com 0. Abstract LLM + 시계열 성공이유 multimodal distributions를 표현할 수 있는 능력 단순성과 반복에 대한 편향이 결합되어 있기 때문 이는 많은 시계열에서 두드러지는 특징들(=반복되는 계절적 추세와 일치) LLM + 시계열 사용 이점 LLM들이 비수치적 텍스트를 통해 보정 없이 결측 데이터를 자연스럽게 처리가능 텍스트 측면 정보를 수용하며, 예측을 설명하는 데 도움이 되는 질문에 답할 수 있음 1. Int..

Abstract SelfMatch (이 논문에서 제시한 모델 !!) 목적: 시계열 분류 (TSC) TSC를 위한 특징 추출기인 ResNet–LSTMaN을 설계하여 특징 및 관계 추출을 담당 방법: supervised + unsupervised + self distillation unsupervised: (pseudo labeling 적용) label data에 대한 feature extract (레이블이 지정된 데이터와 지정되지 않은 데이터 간의 연결을 탐색) 약하게 증가된 시퀀스는 같은 시퀀스의 Timecut-증가된 버전의 예측을 안내하는 목표 (= 어떤 데이터 시퀀스의 변화를 이해하고 이를 기반으로 미래의 변화를 예측) self distillation: 높은 수준에서 낮은 수준으로의 지식흐름 → 낮은..

Abstract 퓨샷 학습 과제를 위한 심층 신경망의 표현 능력을 개선하는 간단한 접근 방법을 제안 첫 번째로, self-supervised auxiliary loss을 사용하여 특징 임베딩의 엔트로피를 최대화함으로써 최적의 출력 매니폴드를 생성하는 신경망을 훈련합니다. 두 번째 단계에서는 self-supervised 쌍을 함께 묶어 특징 임베딩의 엔트로피를 최소화하고, 학생-교사 간의 교류(KD)를 통해 매니폴드를 제한 Introduction 정리 기존 FSL 연구들 주로 메타 학습을 사용하여 새로운 과제에 대한 기본 학습자를 적응시키거나, 메트릭 학습을 통해 마진을 최대화하는 제약을 적용함으로써 FSL을 접근합 한계 클래스 내 다양성의 중요성을 무시 본 논문의 연구 관점 클래스 내 변화에 불변하는 표..