Self-distillation 2

[논문 리뷰] Semi-supervised Domain Adaptation via Sample-to-Sample Self-Distillation(WACV, 2022)

0. Abstract 선생님과 학생 사이의 중간 스타일을 전달하여 보조 특징을 생성하고, 그런 다음 학생과 보조 사이의 출력 불일치를 최소화함으로써 모델을 훈련시킵니다. 훈련 중에 보조들은 두 도메인 간의 불일치를 서서히 줄이므로 학생이 선생님으로부터 쉽게 학습할 수 있도록 1. Introduction 도메인 적응의 목표는 원래 도메인(소스)에서 사용 가능한 레이블 데이터를 사용하여 학습자를 새로운 도메인(타겟)에 적응시키는 것 도메인 내 불일치와 도메인 간 불일치 고려 AF가 굳이 필요한 이유: 혼합 스타일 특징으로 훈련하는 것은 도메인 불일치를 줄이는 데 도움이 됩니다 [12, 45]. 이 사실에서 영감을 받아 보조 특징은 선생님과 학생 사이의 중간 스타일을 전송하여 생성됩니다. 그런 다음 모델은 학..

[논문 리뷰] Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation(ICCV, 2019)

0. Abstract 기존 NN에서 accuracy 향상 방법 깊거나 더 확장된 네트워크 이 논문에서 NN에서 accuracy 향상 방법 : Self-distillation 기존 Knowledge distillation student network를 pretrain된 teacher모델의 softmax layer output에 근사하도록 함 self distillation 자기 자신의 네트워크에서 정보 증류 방법 여러 section으로 나눔 더 깊은 네트워크의 지식을 낮은 곳으로 squeeze해줌 1. Introduction [1] 예측 정확도 향상 & 반응 시간/컴퓨터 자원 감소 필요함 기존에 시도된 모델들 ResNet 150, ResNet1000 : 성능 조금 향상 & 엄청 거대한 자원량 (모델 경량화..