2021.08.13 - [Week 2] Day 5. 나는 멍청이다. 나는 멍청이다. 나는 멍청이다.

Transformer에 이어 Generative model 강의는 정말 환상적이었다.

어려운 내용에 더해 영어가 반이라 강의만 한참을 봤다.

복습 열심히 해야겠다.

휴일이 많아서 정말 다행이다.

 

---

공부한 내용

1. Generative Model

 1.1. generative model의 의미

 1.2. Explicit model and Implicit model의 개념

 1.3. Basic Discrete Distributions

  - Bernoulli distribution

  - Categorical distribution

  - Number of cases, Number of parameters

  - Example of binary pixels

 1.4. Structure Through Independence

  - Independence 가정 이유

 1.5. Conditional Independence

  - Chain rule : 개념과 효과

  - Bayes' rule

  - Conditional independence : 개념과 효과

  - Markov assumption

  - Auto-regressive model

 

2. Auto-regressive Model

 2.1. Auto-regressive Model의 개념

  - Key idea : chain rule, conditional independence, ordering

 2.2. NADE (Neural Autoregressive Density Estimator)

  - Architecture of NADE

  - Activation function : Binary random variables (Sigmoid), Continuous random variables (Gaussian mixture, ...)

 2.3. Pixel RNN

  - RNN과의 차이

  - ordering에 따른 차이 : Row LSTM, Diagonal BiLSTM

 

3. Latent Variable Models

 3.1.VAE (Variational Auto-encoder)

  3.1.1. VI (Variational Inference)

   - VI objective

   - Latent space

   - Posterior distribution

   - Variational distribution

   - KL divergence

   - ELBO : Reconstruction Term, Prior Fitting Term

   - Encoder, Decoder

   - VAE가 Generative model이 될 수 있는 이유

   - Gaussian distribution을 prior distribution으로 사용하는 이유

 3.2. AAE (Adversarial Auto-encoder)

  - VAE와의 차이

  - AAE의 장점

  - Wasserstein distance

 

4. GAN (Generative Adversarial Network)

 4.1. GAN

  4.1.1. GAN

   - Idea : two player game problem

   - Generator

   - Discriminator

   - GAN vs. VAE

  4.1.2. GAN objective

   - Minimax game

   - GAN objective for discriminator

   - Optimal discriminator

   - GAN objective for generator

   - JSD (Jenson-Shannon Divergence), Wasserstein Auto-encoder

  4.1.3. DCGAN

   - Convolution, Deconvolution

  4.1.4. Info-GAN

   - Axillary class

  4.1.5. Text2Image

   - Conditional GAN

  4.1.6. Puzzle-GAN

   - Subpatches

  4.1.7. CycleGAN

   - Domain

   - Cycle-consistency loss

  4.1.8. Star-GAN

   - Self-Transfer Learning

   - High fidelity, Realistic

  4.1.9. Progressive-GAN

   - From coarse to HD

 

5. 스페셜 피어세션

 - 자기소개 : 전공, 취미, Domain 선택, 공부했던 내용, 현재 상황 등

 - 피어세션에서 하는 활동 내용 공유 

 - Transformer와 CNN, RNN의 상대적인 중요성

 - 멘토링에서 하는 활동 내용 공유

 - Ice Breaking

 

6. 피어세션

 - Wasserstein : 강의 듣고 알아듣지를 못해서 몰랐던 것

 - 이번 주 강의 난이도

 - Binary pixel example에서 independent하다고 가정할 때, parameter의 수가 n인 이유

 - RGB pixel example에서 parameter의 수가 255^3인지 256^3 - 1인지

 - ELBO가 어떻게 나온 것인지?

 - Generative model에서 parameter의 의미

 - 팀 주간 회고록 작성

 - VAE 추가 학습 자료 :
https://www.youtube.com/watch?v=GbCAwVVKaHY&t=784s

 - 캡쳐 도구 추천 :

https://www.snipaste.com/

Snipaste

 

 

주말에 할 일

1. 필수

 1.1. AI Math 복습 후 질문 정리

 1.2. 모두를 위한 딥러닝 수강

 1.3. 못한 과제 마무리

 1.4. Visualization 강의 수강

 1.5. DL Basic 복습 후 질문 정리

 

2. 시간 남으면

 2.1. 내용 정리 : 블로그나 notion, jupyter notebook 중 선택

 2.2. git / github 사용법 공부

 

3. 예상

 - AI Math, 모두를 위한 딥러닝만 해도 1~1.5일 걸릴 것 같다.

 - 과제 : 2~3시간 예상

 - Visualization 강의 : 3시간

 - DL Basic : 많이 하면 반 정도 복습 할 수 있을 것 같다.