윤지

0. Abstract 불확실성 하에서의 추론은 기계 학습 시스템에서 중요한 부분 예를 들어 Bayesian 방법은 불확실성을 양적화하기 위한 일반적인 프레임워크를 제공하지만, 모델의 오차 추정(model misspecification)과 근사 추론(approximate inference) 사용으로 인해 정확하지 않을 수 있음. 이 논문에서는 회귀 알고리즘을 보정(calibrate)하는 간단한 절차를 제안 이 절차는 Bayesian 및 확률적 모델에 적용할 때 충분한 데이터가 주어지면 보정된 불확실성 추정을 보장 이 방법은 Platt 스케일링에서 영감을 받아 이전의 classification 작업에 대한 연구를 확장한 것 1. Introduction 기존 Bayesian 방법의 문제점을 나타내는 그림 위:..

Contribution/3줄 요약 Source data에 대해 performance drop을 고려하는 Generalized source-free domain adaption을 제안한다. Source-free domain adaptation을 수행하기 위해 source model의 (source, target data에 대해)shift된 feature space상에서 class간의 cluster관계를 활용한 local structure clustering을 제안한다. G-SFDA setting을 해결하기 위해서 source와 target에 대한 backprop.을 구분하기 위해 Sparse Domain Attention을 제안한다. Domain Adaptation Deep Learning method는 ..

Abstract Domain Adaptation 이란, transfer the knowledge learned from a labeled source domain to an unlabeled target domain whose data distributions are different. source domain 에서의 학습 데이터는 real-world 에서는, 보안문제로 사용불가능한 경우가 자주있다. 그래서 Source-Free Domain Adaptation (SFDA) 방법이 주목받고 있음. 이름 그대로 source data 를 이용하지 않고 domain adaptation을 수행하는… 논문에서 제안하는 방법은 SFDA-DE : source Distribution Estimation 을 이용하여 직접..

Abstract 본 연구가 다루는 Task는 다변량 시계열 예측 대조학습과 트랜스포머 기반 모델이 좋은 성능을 거뒀었지만 몇 가지 문제점 존재 대조학습 기반 사전학습과 Downstream 예측 Task가 Inconsistent함 트랜스포머 기반 모델은 심각한 Distribution shift 문제를 야기하게 되고, 자기지도 학습 방법들에 비해 시퀀스 정보를 제대로 활용하지 못함 Ti-MAE는 완벽한 distribution을 따르도록 입력 시계열이 가정되어 있음 시계열 일부를 마스킹하고 point-level에서 재복원하는 모델 마스크 모델링을 auxiliary task로 채택하고 기존의 표현학습과 생성 트랜스포머 기반 방법론을 연결하여 upstream과 downstream 예측 task의 차이를 줄임 실험..

Abstract Mased auto encoders(MAE)가 컴퓨터 비전 분야에서 scalable self-supervised learners 임을 증명 아이디어 : 입력 이미지의 패치를 랜덤하게 마스킹한 후 missing pixels를 복원하도록 학습 인코더-디코더 구조는 비대칭 구조. 인코더: 마스킹 되지 않은 부분만 처리 디코더: 인코더보다 훨 가볍게 설정되고 마스킹된 부분과 되지 않은 부분 모두 처리 입력 이미지에 대한 최적 마스킹 비율 : 75% 학습 속도&정확도 높일 수 있었음 최종적으로 transfer learning 성능도 검증 Intro 딥러닝이 핫해지고 하드웨어들이 발전하면서 거대한 모델들이 엄청나게 많은 데이터를 overfit하게 학습하게 되었고 수 백만의 labled 이미지를 필요..