윤지

0. Abstract 거의 모든 머신 러닝 알고리즘의 성능을 향상시키는 매우 간단한 방법은 같은 데이터에 대해 여러 다른 모델을 훈련시킨 후 그들의 예측을 평균내는 것 한계점: 모델 전체의 앙상블을 사용하여 예측을 하는 것은 번거롭고, 개별 모델이 큰 신경망인 경우 특히 많은 사용자에게 배포하는 데 너무 많은 계산 비용이 들 수 있습니다. Caruana와 그의 동료들은 앙상블의 지식을 단일 모델에 압축하여 훨씬 쉽게 배포할 수 있음을 보여주었고, 우리는 다른 압축 기술을 사용하여 이 접근 방식을 더 발전시킵니다. 우리는 MNIST에서 몇 가지 놀라운 결과를 달성하고, 앙상블의 모델들의 지식을 단일 모델에 증류함으로써 많이 사용되는 상업 시스템의 음향 모델을 크게 개선할 수 있음을 보여줍니다. 또한, 하나..

0. Abstract 기존 NN에서 accuracy 향상 방법 깊거나 더 확장된 네트워크 이 논문에서 NN에서 accuracy 향상 방법 : Self-distillation 기존 Knowledge distillation student network를 pretrain된 teacher모델의 softmax layer output에 근사하도록 함 self distillation 자기 자신의 네트워크에서 정보 증류 방법 여러 section으로 나눔 더 깊은 네트워크의 지식을 낮은 곳으로 squeeze해줌 1. Introduction [1] 예측 정확도 향상 & 반응 시간/컴퓨터 자원 감소 필요함 기존에 시도된 모델들 ResNet 150, ResNet1000 : 성능 조금 향상 & 엄청 거대한 자원량 (모델 경량화..

0. Abstract 제안된 접근법 제한된 샘플 수에서 핵심정보 추출&진단&예측 솔루션 개발 고장 진단관련해서, 3개의 실제 데이터셋+2가지 유형의 기계학습 방법 사용 1. INTRODUCTION 문제 상황 정의 데이터 부족 문제: PHM(장비 및 시스템의 고장 진단 및 예측) 라벨이 없거나, 사용 가능한 경우에도 신뢰할 수 없는 경우 → 성능 떨어지거나 실행가능하지 않을 수 있음. 해결법: 데이터 증강 방법으로 해결하는 연구 많이 수행됨 제안하는 모델(TVAR) 시간 변화하는 자기회귀(TVAR)모델 기반으로 다변량 시계열 데이터 증강을 위한 방법 목표: 부족한 데이터에서 정보 추출 & 진단 및 예측 솔루션의 품질개선할 수 있는 방식으로 추가 샘플 생성 & 비정상 시계열 직접 처리 가능 2. BACKGR..

0. Abstract 산업 고장 진단에서 고장 분류는 일반적인 문제임 classifier는 대체로 다양한 클래스 간에 동등한 양의 데이터를 가정하에 구축됨 하지만, 산업 공정에서 수집되는 정상과 고장 데이터의 양은 불균형이 대부분임 ⇒ 문제점의 본질: 고장 분류가 불균형 데이터 분류 문제임 문제 해결 방법: 데이터 증강 방법 (더 많은 데이터 생성 & 데이터 균형 맞추는 데에 사용) 생성된 데이터의 품질이 분류 성능에 큰 영향 ⇒ 생성된 데이터의 품질 보장 위해, 이 논문에선 시계열 데이터 생성의 변이형 오토인코더 사용(VAE) 제안하는 것 : 생성된 시계열 데이터 활용하여 불균형 고장 분류 문제 해결을 위한 TSDAC(시계열 데이터 증강 분류기) 테네시 이스트만(TE) 벤치마크 공정에 적용 TSDAC는..

0. Abstract 분류 모델에서 확률 예측이 실제 correctness likelihood를 잘 반영하는 Confidence calibration은 여러 응용 분야에서 중요. 현대 신경망은 예전과 달리 종종 적절한 보정이 부족한 경우가 있음. (= 현대 주요 딥러닝 모델들의 공통점: 크고 넓고 높은 정확도 가짐→but 신뢰도 하락 중) 이 연구는 신경망 학습에 대한 통찰력을 제공하며, Platt Scaling의 단순화된 형태인 temperature 조정으로 효과적인 보정을 할 수 있는 방법을 제안. 1. Introduction 실제 의사 결정 시스템에서 분류 신경망은 정확성 뿐만 아니라 잘못될 가능성이 높을 때를 나타내야 함. 따라서 보정된 신뢰 추정은 모델 해석에도 중요. 좋은 신뢰 추정은 사용자와..

0. Abstract 불확실성 하에서의 추론은 기계 학습 시스템에서 중요한 부분 예를 들어 Bayesian 방법은 불확실성을 양적화하기 위한 일반적인 프레임워크를 제공하지만, 모델의 오차 추정(model misspecification)과 근사 추론(approximate inference) 사용으로 인해 정확하지 않을 수 있음. 이 논문에서는 회귀 알고리즘을 보정(calibrate)하는 간단한 절차를 제안 이 절차는 Bayesian 및 확률적 모델에 적용할 때 충분한 데이터가 주어지면 보정된 불확실성 추정을 보장 이 방법은 Platt 스케일링에서 영감을 받아 이전의 classification 작업에 대한 연구를 확장한 것 1. Introduction 기존 Bayesian 방법의 문제점을 나타내는 그림 위:..

Contribution/3줄 요약 Source data에 대해 performance drop을 고려하는 Generalized source-free domain adaption을 제안한다. Source-free domain adaptation을 수행하기 위해 source model의 (source, target data에 대해)shift된 feature space상에서 class간의 cluster관계를 활용한 local structure clustering을 제안한다. G-SFDA setting을 해결하기 위해서 source와 target에 대한 backprop.을 구분하기 위해 Sparse Domain Attention을 제안한다. Domain Adaptation Deep Learning method는 ..

Abstract Domain Adaptation 이란, transfer the knowledge learned from a labeled source domain to an unlabeled target domain whose data distributions are different. source domain 에서의 학습 데이터는 real-world 에서는, 보안문제로 사용불가능한 경우가 자주있다. 그래서 Source-Free Domain Adaptation (SFDA) 방법이 주목받고 있음. 이름 그대로 source data 를 이용하지 않고 domain adaptation을 수행하는… 논문에서 제안하는 방법은 SFDA-DE : source Distribution Estimation 을 이용하여 직접..

Abstract 본 연구가 다루는 Task는 다변량 시계열 예측 대조학습과 트랜스포머 기반 모델이 좋은 성능을 거뒀었지만 몇 가지 문제점 존재 대조학습 기반 사전학습과 Downstream 예측 Task가 Inconsistent함 트랜스포머 기반 모델은 심각한 Distribution shift 문제를 야기하게 되고, 자기지도 학습 방법들에 비해 시퀀스 정보를 제대로 활용하지 못함 Ti-MAE는 완벽한 distribution을 따르도록 입력 시계열이 가정되어 있음 시계열 일부를 마스킹하고 point-level에서 재복원하는 모델 마스크 모델링을 auxiliary task로 채택하고 기존의 표현학습과 생성 트랜스포머 기반 방법론을 연결하여 upstream과 downstream 예측 task의 차이를 줄임 실험..

Abstract Mased auto encoders(MAE)가 컴퓨터 비전 분야에서 scalable self-supervised learners 임을 증명 아이디어 : 입력 이미지의 패치를 랜덤하게 마스킹한 후 missing pixels를 복원하도록 학습 인코더-디코더 구조는 비대칭 구조. 인코더: 마스킹 되지 않은 부분만 처리 디코더: 인코더보다 훨 가볍게 설정되고 마스킹된 부분과 되지 않은 부분 모두 처리 입력 이미지에 대한 최적 마스킹 비율 : 75% 학습 속도&정확도 높일 수 있었음 최종적으로 transfer learning 성능도 검증 Intro 딥러닝이 핫해지고 하드웨어들이 발전하면서 거대한 모델들이 엄청나게 많은 데이터를 overfit하게 학습하게 되었고 수 백만의 labled 이미지를 필요..