ImageNet-trained CNNs are biased towards Texture; Increasing shape bias improves accuracy and robustnes
ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness
Convolutional Neural Networks (CNNs) are commonly thought to recognise objects by learning increasingly complex representations of object shapes. Some recent studies suggest a more important role of image textures. We here put these conflicting hypotheses
arxiv.org
- Figure 2: Accuracies and example stimuli for five different experiments without cue conflict.
- 큰 차이 없다.
→ CNN은 color에 있어서 robust하다.
- CNN은 silhouette, edges 에서 취약하다.
- 기존에 ImageNet에서 볼 수 없었던 OOD(out of distribution) 데이터라서 낮게 나왔다고 볼 수 있다.
→ CNN은 domain shift에 취약하다.
- texture에 대해서는 아주 높은 정확도를 보인다.
→ CNN이 object를 인식하는 데에 texture가 중요하다.
- Figure 4: Classification results for human observes (red circles) and ImageNet-trained networks AlexNet (purple diamonds), VGG-16 (blue triangles), GoogleNet (turquoise circles) and ResNet-50 (grey squares).
Texture Bias (%) = Texture로 맞춘 개수 / Texture 또는 Shape을 맞춘 개수
- 위 수식으로 texture bias를 계산해본 결과, 사람은 대부분 shape bias이지만 CNN 모델들은 대부분 texture bias 하다.
- ImageNet dataset은 분류 task 자체가 texture 정보만으로도 충분한 데이터셋이라는 것을 암시
- texture or shape bias는 데이터의 영향이 크다.
→ 데이터셋 구성을 바꿔서 texture biased에서 shape biased 모델로 만들 수 있을까?
- Figure 3: Visualisation of Stylized-ImageNet (SIN), created by applying AdaIN style transfer to ImageNet images.
- 다음과 같이 shape biased 하도록 데이터를 만들었다.
- Table 1: Stylized-ImageNet cannot be solved with texture features alone.
- 다음 표를 보면 IN to SIN 하니까 성능 크게 감소했고, SIN to IN은 robust한 결과를 보였다.
- 즉, shape bias가 robustness한 모델을 만드는 데 더 중요하다.
- IN to SIN : training on ImageNet and testing on Stylized-ImageNet.
http://dsba.korea.ac.kr/seminar/?mod=document&uid=1820
▶ 이어서 다음 논문을 보면 augmentation과 texture bias간의 관계에 대해서 설명한다.
- Random-crop augmentation biases models towards texture.
The Origins and Prevalence of Texture Bias in Convolutional Neural Networks
Recent work has indicated that, unlike humans, ImageNet-trained CNNs tend to classify images by texture rather than by shape. How pervasive is this bias, and where does it come from? We find that, when trained on datasets of images with conflicting shape a
arxiv.org
→ shape에 대한 다양성이 높아지면 shape보다는 texture를 보고 분류하는 것 같음
→ demodex 연구에 대해서..
demodex의 특징인 안면의 오돌도돌한 papules 그리고 홍조 등을 학습하기 위해선 texture bias하는 것이 맞음.
AWB, color jitter와 같은 augmentation 보다는 random crop으로 shape의 다양성을 늘리는 것이 좋음??
→ 실제로 color aug vs. shape aug 로 나눠서 실험해봤는데 효과 없었음
→ 최종적으로는 color aug (AWB, jitter, Gaussian noise), shape aug (rotation, shear, flip) 모두 적용하였음.