2021.09.01 - [Week 5] Day 3. 9월의 시작
1. 대회 진행 상황
1.1. validation 추가
- validation loss, validation accuracy 출력
1.2. under sampling & albumentations 적용
- debugging 후 다시 학습
- validation loss : 0.081, validation accuracy : 92.75
- 효과는 굉장했다!
- F1 score : 0.702, Accuracy : 76.540
1.3. under sampling & combinations of albumentations 적용
- 21개의 albumentations 함수 중 2개씩 조합하여 $_{21}C_2$ = 210 가지의 augmentation 조합 생성
- 210 가지의 augmentations 조합 중 7개씩 적용하여 7개의 dataset 생성하여 10458개의 data를 가진 dataset을 학습하는 효과를 적용
- data loader로 불러오는 과정에서 gpu memory oom 발생
2. 피어세션
• 통합 code 설명 - 성한님
- data loader에서 enumerate 제거 : 불필요
- validation set 비율 지정하지 않았을 때 model 저장하지 않는 문제 수정
- f1 score 계산 로직 수정
• 질문 사항
- plt figure 이미지로 저장 : plt.savefig()
- self-supervied learning 적용 방법 : pretext task로 pretrain된 model을 transfer learning할 때와 같이 적용하면 된다.
- cutmix할 때 label이 cutmix된 비율만큼 가중평균이 된다.
https://sseunghyuns.github.io/classification/2021/05/25/invasive-pytorch/#
https://www.kaggle.com/kaushal2896/cifar-10-simple-cnn-with-cutmix-using-pytorch
• Tips
- loss 함수 여러 개 조합하여 사용하는 것도 가능 : f1과 cross entropy 7:3 가중평균 적용한 loss function 사용
- cutmix code에서 seed 고정하면 매번 같은 numpy.random 값으로 weight를 적용하여 의미가 없다. : numpy의 random seed 고정 해제 필요
- cutmix사용 시 oom 문제 자주 발생 : batch size 조정
벌써 9월이고 날씨가 쌀쌀해지기 시작했다.
어제 비가 와서 감기기운이 살짝 돌았다가 가셨다.
실험해보고 싶은 것은 많은데 보고서도 써야하고 코드도 수정해야 하고 할 일이 많아서 집중이 잘 안된다.
내일이 드디어 대회 마감인데 한, 두 가지 정도 더 해보고 싶은 것이 있어 여유가 있을지 모르겠다.
그래도 오늘 제출한 성적으로 개인 최고 성적을 내서 다행이다.