Paper: https://arxiv.org/pdf/1912.02413.pdf
PR113 Facebook group: https://www.facebook.com/groups/565858127904979
1. Image classification 시 long-tail class에 속하는 image category를 분류하기가 힘들다. 이를 2-branch network을 통해 해결해보자!
2. Image들의 universal pattern을 뽑아내는 목적인 conventional branch, tail data를 잘 modeling하기 위한 re-balancing branch를 사용
- Conventional branch에 들어가는 image는 original category 분포를 따르도록 sampling
- Re-balancing branch에 들어가는 image는 long-tail category에서 좀 더 많이 뽑히도록 sampling
- Reversed sampler를 통해 category를 sampling할 때, long-tail category가 더 많이 뽑히도록 sample
- 뽑힌 category 내 image를 uniform sample해서 re-balancing branch에 넣어 학습
- Epoch에 따라 변하는 alpha를 통해 처음에는 conventional branch를 학습시켜 전체적인 feature를 학습하고,
- 나중에는 re-balancing branch를 학습시켜 long-tail image에 대해 fine-tuning
- 두 branch에서 뽑힌 feature를 alpha 이용 weight sum, loss 또한 alpha weight 줘서 학습
- Conventional branch -> Re-balancing branch 순서로 학습 효과
3. iNaturalist 2019 large scale species classification competition 1등, 비전 쪽은 잘 모르지만 baseline 대비 long-tailed CIFAR-10, 100에서 모두 좋은 성능을 보여줬다.