https://arxiv.org/pdf/2210.03591

ABSTRACT

• Novel class Discovery, 새로운 class 를 발견하는 분류 문제에서 Symmetric Kullback-Leibler divergence가 intra-class와 inter-class를 잘 표현했다.

1. abstract

• Novel class discovery (NCD) 는 label이 있는 data에서, label이 없는 데이터가 들어왔을때 새로운 클래스를 발견하는 모델을 학습하는 것을 목표로 한다.
• symmetric Kullback-Leibler divergence (sKLD)을 사용하여 기존 NCD의 성능을 개선했다.
• 특히 클래스 간 sKLD를 강화하여, 라벨이 있는 데이터와 없는데이터의 임베딩 공간에서 분리를 강조한다.

1. Introduction

• NCD 는 기존 semi-supervised learning과 다르다.

  NCD는 기존 labeled data와 new unlabelled data가 disjoint한 상황을 제시.

• NCD 는 기존 generic clusting 과 다르다.

  standard clustering은 새로운 data들에 대해 여러가지 다른 embedding이 생겨날 수 있다.

  하지만 NCD는 consistent하다.

• 기존 NCD는 2-staged로, label/unlabel 데이터를 나눠서 학습

  이 논문에서 제시하고있는 sKLD를 이용한 NCD는 1-stage.

3.2 Symmentric Kullback-Leiber DIvergence for Novel Class Discovery

• Inter class Symmentric KLD Contraint
  • sKLD로, 각각의 labelled/unlabelled class간 거리를 벌린다
• Intra class Symmentric KLD contraint
  • 클래스 내부의 data간 거리는 줄어야한다.
• Cross-entropy Loss :
  • inter Class sKLD는 maximize
  • intra class sKLD는 minimize

4.4 Visualization