Second Order Talyor Expansion

Introduction Activation Function들이 Backpropagation가 진행되는 과정을 Derive하는 자료이다. Contents Reference Fei-Fei Li, Justin Johnson, Serena Yeung / cs231n-2019-lecture04.

Introduction Softmax 함수가 무엇인지 알기 위해 먼저 순차적으로 정보이론, Shannon entropy, Kullback-Leibler divergence, 그리고 Cross entropy에 대해서 살펴본다. 마지막으로 Softmax 함수가 어떻게 Backpropagation되어 weigth이 update 되는지 살펴 보도록 한다. ...

Introduction CS231n Lecture4 142페이지에 나오는 computational graph에서 \(W_1, W_2\)에 대하여 backporpagation을 증명한다. Contents Reference http://cs231n.stanford.edu/ lecture 4