Contribution/3줄 요약
- Source data에 대해 performance drop을 고려하는 Generalized source-free domain adaption을 제안한다.
- Source-free domain adaptation을 수행하기 위해 source model의 (source, target data에 대해)shift된 feature space상에서 class간의 cluster관계를 활용한 local structure clustering을 제안한다.
- G-SFDA setting을 해결하기 위해서 source와 target에 대한 backprop.을 구분하기 위해 Sparse Domain Attention을 제안한다.
Domain Adaptation
Deep Learning method는 performance 측면에서 좋은 성과를 얻을 수 있지만 많은 양의 labeled data를 학습 과정에서 필요로 한다. 그러나, real world situation에서는 노동력, cost 측면에서 충분한 양의 labeled data를 확보하는 것은 어려움이 존재한다. Domain Adaptation (DA)은 두 domain간의 domain shift를 줄이면서 label-rich dataset이 존재하는 source domain에서 학습한 knowledge를 다른 unlabelel dataset이 존재하는 target domain으로 transfer하는 방식으로 label cost문제를 해결한다.
Source-free Domain Adaptation (SFDA)
Domain Adaptation은 source data를 활용해 target data의 학습을 진행한다. 반면, real-world application 환경에서 source data를 활용하는 것이 제한되는 상황이 존재하는데, 예를 들어 computation capacity가 제한적인 mobile device 환경이나, data-privacy 문제로 source data의 접근에 제한이 존재하는 경우를 생각할 수 있다. Source-free Domain Adaptation은 이와 같은 문제를 해결하고자 하며, source data가 아닌 source pre-trained model을 활용해 DA를 진행한다.
Generalized Source-free Domain Adaptation
Source model의 fine tuning을 통해 target domain에 대한 학습을 진행하는 SFDA scheme에서는 결과적으로 source model의 performance degradation이 존재한다. 논문에서는 4계절(domain) 내내 좋은 performance를 기대할 수 있는, 즉, target domain의 학습을 진행했음에도 source domain에서 performance degradation이 존재하지 않는 DA paradigm을 제안하며, 이를 G-SFDA로 정의한다.
Proposed Method
논문에서 제안하는 문제 상황과 Goal을 정리하면,
- Pre-trained model (source model)을 통해 target domain을 학습
- source/target domain이 동일한 categories를 갖고 있는 close-set DA
- Target domain을 학습함에도 source domain에서 model performance가 발생하지 않음
이를 해결하고자 논문에서 크게 제안하는 방법론은 (1) Local Structure Clustering (LSC)과 (2) Sparse Domain Attention이다.