Activation Function Backpropagation

Introduction Softmax 함수가 무엇인지 알기 위해 먼저 순차적으로 정보이론, Shannon entropy, Kullback-Leibler divergence, 그리고 Cross entropy에 대해서 살펴본다. 마지막으로 Softmax 함수가 어떻게 Backpropagation되어 weigth이 update 되는지 살펴 보도록 한다. ...

Introduction CS231n Lecture4 142페이지에 나오는 computational graph에서 \(W_1, W_2\)에 대하여 backporpagation을 증명한다. Contents Reference http://cs231n.stanford.edu/ lecture 4

Introduction 비지도 학습의 과업에는 군집화, 밀도 추정, 공간변환 이렇게 크게 세가지로 나눌 수 있다. 이중 군집화의 한 종류인, Affinity Propagation Algorithm에 대해서 알아보려고 한다. Affinity Propagation Algorithm는 모든 데이터가 특정한 기준에 따라 자신을 대표할 대표 데이터를 선택한다....