개발 공부하는 사람

공부한 내용 1. Ensemble 1.1. Ensemble : 앙상블 • 여러 model의 특성을 조합해서 더 좋은 성능의 model을 만드는 방법 • 각 model이 특성을 가지고 있을 때 효과가 있다. • model 사용 시간이 늘어나기 때문에 비효율적 • 정확도가 중요한 분야이거나 competition일 경우 많이 사용 • Deep learning은 일반적으로 overfitting이 발생하는 경향이 있다. • Ensemble 알고리즘 - Random forest : high variance에 적용하는 대표적인 알고리즘 - Begging : data sample 만들고 나누어서 각각 학습한 것을 취합 - Stacking 등 • Model Averaging (Voting) - 일반적인 방식 - 서로 다..

공부한 내용 1. Training 학습에 필요한 3가지 요소 Loss, Optimizer, Metric -> Training에 직접적인 영향 1.1. Loss • (Error) Backpropagation - loss(error)가 backward 방향으로 다른 노드의 parameter에 update - loss function, class에 따라 달라진다. - loss에 따라 backpropagation에서 parameter update 과정도 달라진다. - loss function == cost function == error function • Loss function도 nn.Module 상속 - loss도 module과 비슷하다. - loss도 forward 함수 존재 - 학습 과정에서 어떻게 연..

공부한 내용 1. Model 1.1. Model • 정의 : 시스템을 정보로써 표현하는 방식 • 딥러닝의 모델 : 어떤 변환 과정을 통해 원하는 형태의 output을 내는 시스템을 표현하는 방식 • 이미지 : 시각적인 표현의 인공물 • 이미지 분류 모델 : 이미지를 변환하여 원하는 category class로 차원을 바꾸는 시스템 1.2. PyTorch 1.2.1. PyTorch • pythonic하고, training 과정의 요소를 공부하기 좋다. • Low-level - Low-level, pythonic, flexibility, dynamic graph - 수정이 용이하고 실험할 수 있는 것이 많다. - logic 추가가 쉽다. - training process 코드를 통해 training 과정을 ..

벌써 많은 캠퍼분들이 리더보드에 제출하고 계신다. 우리 팀 분들도 다 잘하고 계신 것 같다. 나는 아직 프로그래밍 스킬이나 사용법에 익숙하지 않아 더 연습이 필요하다. 그래서 수업 진도에 맞춰 따라가고 있다. 조급해하지 않는게 집중에도 좋고 정신적으로 안정이 될 것 같다. 공부한 내용 1. Dataset 1.1. Dataset 1.1.1 Dataset • 데이터를 하나씩 내보낼 수 있도록 기능 구현 • Vanilla data는 문제 해결에 바로 사용 불가 • Overview에서 정의한 문제를 바탕으로 데이터를 일반화하는 작업 필요 • 모델은 Dataset을 바탕으로 학습 • EDA를 통해 데이터를 이해하는 것이 먼저 • Data Analysis를 바탕으로 Data Pocessing에서 적용할 수 있는 방..

첫 번째 프로젝트인 이미지 분류 대회를 시작했다. 생소한 개발 환경이 많아 많이 낯설어 한참을 헤맸다. 많이 연습해서 빨리 적응해야겠다. 공부한 내용 1. Competition with AI Stages 1.1. P Stage • 코드로 많이 연습할 수 있는 기회 • 파이프라인의 전체적인 프로세스 경험 • U Stage에서 배운 내용 재구성 1.2. Competition • 기업에서 데이터를 플랫폼에 제시하여 문제 해결 방법을 제공받을 수 있는 수단 • Kaggle, DACON 등의 competition platform • 다양한 데이터와 다양한 문제의 competition 통해 domain의 일부를 공부할 수 있다. 1.3. Overview • Competition의 목적, 이유, 의미, 대상 등 방향..

굉장히 하루를 알차게 보낸 느낌이다. 허투루 보낸 시간이 거의 없었던 것 같다. 멘토님과 같이 논문 리뷰를 했는데 재미있었다. 안그래도 바쁘실텐데 늦은 시간까지 오랫동안 같이 봐주셔서 정말 감사하다. 공부한 내용 1. Multi-GPU 학습 1.1. 개념 • Single vs. Multi : GPU의 수 • Node : 시스템 혹은 컴퓨터 • Single Node Single GPU : 하나의 노드(컴퓨터)에 하나의 GPU • Single Node Multi GPU : 하나의 노드에 여러 개의 GPU • Multi Node Multi GPU : 여러 개의 노드마다 여러 개의 GPU 1.2. Model parallel • 학습 분산 방법 - 모델 병렬화 : 모델 나누기 (e.g. AlexNet) - 데이터..

이번 주는 그래도 조금 재미있어지려고 하는 것 같다. 과제는 많지만 과제하면서 모델과 데이터에 대해 익히고 pytorch 사용법도 조금씩 알게 되면서 적응하려고 하는 단계인 것 같다. 과제하는데 오래 걸려서 밤새기는 했지만 재미있었다. 공부한 내용 1. 모델 불러오기 1.1. 모델 저장 • model.save() - 학습 결과 저장 - Parameter 저장 - 모델 저장시 ordered_dict 사용 - 모델 저장시 .pt 확장자 사용 권장 • load_state_dict - 같은 architecture의 모델에서 parameter만 불러올 때 사용 • torch.save(model) - 모델의 architecture도 함께 저장 - 보통 architecture는 코드로 공유 1.2. Checkpoin..

비교적 시간 여유가 있는 주가 될 줄 알았지만 전혀 아니다. 오히려 시간이 더 부족하다. 과제 양이 많은 것도 있지만 내용도 나에겐 쉽지 않다. 딥러닝 공부를 더 빨리 시작하지 못한 것이 정말 아쉽고 후회된다. 공부한 내용 1. AutoGrad & Optimizer 1.1. torch.nn.Module • Layer의 base model • Input, Output, Forward 정의 • Backward : AutoGrad 통해 자동으로 계산 • Parameter : 학습 대상 1.2. nn.Parameter • Tensor 객체 상속 • Weight값 저장 • required_grad = True : AutoGrad의 대상 1.3. Backward • Parameter들의 미분 수행 • Loss(y_..

복습을 통해 몰랐던 것들을 다시 정리하게 되었고 내용의 흐름을 파악할 수 있었다. 하지만 어려운 내용이 계속 쌓이다 보니 아직 갈 길이 멀다. 그래도 조금씩 가까워지는 것 같기도 하다... 공부한 내용 1. Pytorch 1.1. PyTorch 사용 이유 1.2. PyTorch vs. TensorFlow - PyTorch : Dynamic Computation Graph (Define by run) - TensorFlow : Define and run 1.3. PyTorch 장점 - GPU support - Good API and community 1.4. PyTorch = Numpy + AutoGrad + Function - Numpy : numpy와 유사하여 numpy 연산 대부분 사용 가능 - Au..

Transformer에 이어 Generative model 강의는 정말 환상적이었다. 어려운 내용에 더해 영어가 반이라 강의만 한참을 봤다. 복습 열심히 해야겠다. 휴일이 많아서 정말 다행이다. 공부한 내용 1. Generative Model 1.1. generative model의 의미 1.2. Explicit model and Implicit model의 개념 1.3. Basic Discrete Distributions - Bernoulli distribution - Categorical distribution - Number of cases, Number of parameters - Example of binary pixels 1.4. Structure Through Independence - In..