2021.09.01 - [Week 5] Day 3. 9월의 시작

1. 대회 진행 상황

 1.1. validation 추가

  - validation loss, validation accuracy 출력

 

 1.2. under sampling & albumentations 적용

  - debugging 후 다시 학습

  - validation loss : 0.081, validation accuracy : 92.75

  - 효과는 굉장했다!

  - F1 score : 0.702, Accuracy : 76.540

 

 1.3. under sampling & combinations of albumentations 적용

  - 21개의 albumentations 함수 중 2개씩 조합하여 $_{21}C_2$ = 210 가지의 augmentation 조합 생성

  - 210 가지의 augmentations 조합 중 7개씩 적용하여 7개의 dataset 생성하여 10458개의 data를 가진 dataset을 학습하는 효과를 적용

  - data loader로 불러오는 과정에서 gpu memory oom 발생

 

2. 피어세션

 • 통합 code 설명 - 성한님

  - data loader에서 enumerate 제거 : 불필요

  - validation set 비율 지정하지 않았을 때 model 저장하지 않는 문제 수정

  - f1 score 계산 로직 수정

 • 질문 사항

  - plt figure 이미지로 저장 : plt.savefig()

  - self-supervied learning 적용 방법 : pretext task로 pretrain된 model을 transfer learning할 때와 같이 적용하면 된다.

  - cutmix할 때 label이 cutmix된 비율만큼 가중평균이 된다.

https://sseunghyuns.github.io/classification/2021/05/25/invasive-pytorch/# 

https://www.kaggle.com/kaushal2896/cifar-10-simple-cnn-with-cutmix-using-pytorch

 • Tips

  - loss 함수 여러 개 조합하여 사용하는 것도 가능 : f1과 cross entropy 7:3 가중평균 적용한 loss function 사용

  - cutmix code에서 seed 고정하면 매번 같은 numpy.random 값으로 weight를 적용하여 의미가 없다. : numpy의 random seed 고정 해제 필요

  - cutmix사용 시 oom 문제 자주 발생 : batch size 조정

 

---

벌써 9월이고 날씨가 쌀쌀해지기 시작했다.

어제 비가 와서 감기기운이 살짝 돌았다가 가셨다.

실험해보고 싶은 것은 많은데 보고서도 써야하고 코드도 수정해야 하고 할 일이 많아서 집중이 잘 안된다.

내일이 드디어 대회 마감인데 한, 두 가지 정도 더 해보고 싶은 것이 있어 여유가 있을지 모르겠다.

그래도 오늘 제출한 성적으로 개인 최고 성적을 내서 다행이다.