2021.08.12 - [Week 2] Day 4. 좌절기간

CNN, RNN을 배우고 Transformer를 배우면서 안그래도 헷갈려서 어려웠는데 점점 더 어려워진다...

월요일까지 휴일이 있으니 주말동안 기본 내용 열심히 공부해서 DL Basic도 빨리 복습할 수 있도록 해야겠다.

 

---

공부한 내용

1. RNN

 1) Sequential Model

  - Naive sequential model

  - Autoregressive model

  - Markov model (first-order autoregressive model)
  - Latent autoregressive model

 2) RNN : Recurrent Neural Network

  - short-term dependencies

  - long-term dependencies

  - vanilla RNN

 3) LSTM : Long Short Term Memory

  - terms : cell state, hidden state, gate

  - Forget gate

  - Input gate

  - Output gate

  4) GRU : Gated Recurrent Unit

  - reset gate

  - update gate

2. Transformer

 1) Encoder

  - Self-Attention

  - Feed Forward Neural Network

 2) Self-Attention

  - Embedding

  - Query, Key, Value vector

  - Score

  - Softmax

  - Multi-headed Attention

  - Positional encodings

 3) Decoder

 4) ViT : Vision Transformer

 5) DALL-E

3. 이고잉님(생활코딩) - git / github 특강

4. 피어세션

5. 오피스 아워

 - ViT, AAE (Adversarial Auto-Encoder), MDN(Mixture Density Network)

 

 

내일 할 일

1. 과제 제출

2. 스페셜 피어 세션

3. 팀 회고

4. 마스터 클래스

5. Visualization 강의

6. 복습 및 내용 정리