윤지

0. Abstract IoT 데이터에 이상 감지 기술을 적용할 때 마주칠 수 있는 도전에 대한 배경을 제공하며, 문헌에서 가져온 IoT 이상 감지의 응용 예를 들어 설명합니다. 우리는 IoT에만 국한되지 않고 다양한 분야에서 개발된 다양한 접근 방법을 논의합니다 이상 감지 분야에서 현재 직면하고 있는 도전을 요약하고, 향후 잠재적인 연구 기회를 식별하는 데 중점 I. Introduction 현재 많은 이상 감지 방법은 이러한 시스템을 활성화하고 생성된 데이터를 추출하고 해석하는 데 상당한 인간 상호작용을 필요로 합니다. 전문가가 시스템 상태를 나타내는 작은 데이터 부분을 보고 수동으로 관심 있는 추세와 패턴을 식별하는 것이 상대적으로 쉽습니다. 하지만 시스템이 작더라도 이러한 추세를 수동으로 식별하기 어..

(pdf정리본으로 대체합니다. 옮겨적기 귀찮아서 아님..)

0. Abstract Unsupervised Continual Learning 우리는 학습된 특성 표현을 분석하는 체계적인 연구를 수행하고, 비약적인 잊혀짐(catastrophic forgetting)에 대한 더 뛰어난 내구성을 갖고 일관되게 더 나은 성능을 달성하며, 분포 외 작업에 대해 더 나은 일반화를 시키는 것을 보여줍니다. Lifelong Unsupervised Mixup (LUMP) 간단하지만 효과적인 기술을 제안하며 현재 작업과 이전 작업의 인스턴스 사이를 보간하여 비약적인 잊혀짐을 완화 1. Introduction UCL 구현 방법 기존의 SCL 전략을 비지도 지속 학습 프레임워크로 확장하고 현재의 최첨단 표현 학습 기술인 SimSiam (Chen & He, 2021)과 BarlowTwin..

0. Abstract Continual Learning 순차 학습 CURL (비지도 continual learning) 비지도 표현을 학습하는 것 과제 간에 급격한 변화가 있을 때(=한 과제에서 다른 과제로 부드럽게 전환될 때) 데이터가 섞일 때와 같은 시나리오를 탐구 모델 내에서 직접 과제 추론을 수행 새로운 개념을 포착하기 위해 동적으로 확장 기존 정보 유지 위해 추가적인 리허설 기반 기술을 통합 1. Introduction Catastrophic forgetting 학습 알고리즘은 종종 독립 동일 분포 가정을 충족시키기 위해 입력 샘플을 섞어야 함 순차적 데이터로 훈련될 때, 새로운 과제나 개념이 오래된 것을 덮어쓰면서 성능 저하 따라서 현재 정보로 과거 or 미래 정보 성능 개선 가능 ⇒ But,..

(pdf정리본으로 대체합니다. 옮겨적기 귀찮아서 아님..)

0. Abstract 거의 모든 머신 러닝 알고리즘의 성능을 향상시키는 매우 간단한 방법은 같은 데이터에 대해 여러 다른 모델을 훈련시킨 후 그들의 예측을 평균내는 것 한계점: 모델 전체의 앙상블을 사용하여 예측을 하는 것은 번거롭고, 개별 모델이 큰 신경망인 경우 특히 많은 사용자에게 배포하는 데 너무 많은 계산 비용이 들 수 있습니다. Caruana와 그의 동료들은 앙상블의 지식을 단일 모델에 압축하여 훨씬 쉽게 배포할 수 있음을 보여주었고, 우리는 다른 압축 기술을 사용하여 이 접근 방식을 더 발전시킵니다. 우리는 MNIST에서 몇 가지 놀라운 결과를 달성하고, 앙상블의 모델들의 지식을 단일 모델에 증류함으로써 많이 사용되는 상업 시스템의 음향 모델을 크게 개선할 수 있음을 보여줍니다. 또한, 하나..

0. Abstract 기존 NN에서 accuracy 향상 방법 깊거나 더 확장된 네트워크 이 논문에서 NN에서 accuracy 향상 방법 : Self-distillation 기존 Knowledge distillation student network를 pretrain된 teacher모델의 softmax layer output에 근사하도록 함 self distillation 자기 자신의 네트워크에서 정보 증류 방법 여러 section으로 나눔 더 깊은 네트워크의 지식을 낮은 곳으로 squeeze해줌 1. Introduction [1] 예측 정확도 향상 & 반응 시간/컴퓨터 자원 감소 필요함 기존에 시도된 모델들 ResNet 150, ResNet1000 : 성능 조금 향상 & 엄청 거대한 자원량 (모델 경량화..

0. Abstract 제안된 접근법 제한된 샘플 수에서 핵심정보 추출&진단&예측 솔루션 개발 고장 진단관련해서, 3개의 실제 데이터셋+2가지 유형의 기계학습 방법 사용 1. INTRODUCTION 문제 상황 정의 데이터 부족 문제: PHM(장비 및 시스템의 고장 진단 및 예측) 라벨이 없거나, 사용 가능한 경우에도 신뢰할 수 없는 경우 → 성능 떨어지거나 실행가능하지 않을 수 있음. 해결법: 데이터 증강 방법으로 해결하는 연구 많이 수행됨 제안하는 모델(TVAR) 시간 변화하는 자기회귀(TVAR)모델 기반으로 다변량 시계열 데이터 증강을 위한 방법 목표: 부족한 데이터에서 정보 추출 & 진단 및 예측 솔루션의 품질개선할 수 있는 방식으로 추가 샘플 생성 & 비정상 시계열 직접 처리 가능 2. BACKGR..

0. Abstract 산업 고장 진단에서 고장 분류는 일반적인 문제임 classifier는 대체로 다양한 클래스 간에 동등한 양의 데이터를 가정하에 구축됨 하지만, 산업 공정에서 수집되는 정상과 고장 데이터의 양은 불균형이 대부분임 ⇒ 문제점의 본질: 고장 분류가 불균형 데이터 분류 문제임 문제 해결 방법: 데이터 증강 방법 (더 많은 데이터 생성 & 데이터 균형 맞추는 데에 사용) 생성된 데이터의 품질이 분류 성능에 큰 영향 ⇒ 생성된 데이터의 품질 보장 위해, 이 논문에선 시계열 데이터 생성의 변이형 오토인코더 사용(VAE) 제안하는 것 : 생성된 시계열 데이터 활용하여 불균형 고장 분류 문제 해결을 위한 TSDAC(시계열 데이터 증강 분류기) 테네시 이스트만(TE) 벤치마크 공정에 적용 TSDAC는..

0. Abstract 분류 모델에서 확률 예측이 실제 correctness likelihood를 잘 반영하는 Confidence calibration은 여러 응용 분야에서 중요. 현대 신경망은 예전과 달리 종종 적절한 보정이 부족한 경우가 있음. (= 현대 주요 딥러닝 모델들의 공통점: 크고 넓고 높은 정확도 가짐→but 신뢰도 하락 중) 이 연구는 신경망 학습에 대한 통찰력을 제공하며, Platt Scaling의 단순화된 형태인 temperature 조정으로 효과적인 보정을 할 수 있는 방법을 제안. 1. Introduction 실제 의사 결정 시스템에서 분류 신경망은 정확성 뿐만 아니라 잘못될 가능성이 높을 때를 나타내야 함. 따라서 보정된 신뢰 추정은 모델 해석에도 중요. 좋은 신뢰 추정은 사용자와..