CS231 Lecture4 142p Backpropagation

Introduction Activation Function들이 Backpropagation가 진행되는 과정을 Derive하는 자료이다. Contents Reference Fei-Fei Li, Justin Johnson, Serena Yeung / cs231n-2019-lecture04.

Introduction Softmax 함수가 무엇인지 알기 위해 먼저 순차적으로 정보이론, Shannon entropy, Kullback-Leibler divergence, 그리고 Cross entropy에 대해서 살펴본다. 마지막으로 Softmax 함수가 어떻게 Backpropagation되어 weigth이 update 되는지 살펴 보도록 한다. ...

Introduction 비지도 학습의 과업에는 군집화, 밀도 추정, 공간변환 이렇게 크게 세가지로 나눌 수 있다. 이중 군집화의 한 종류인, Affinity Propagation Algorithm에 대해서 알아보려고 한다. Affinity Propagation Algorithm는 모든 데이터가 특정한 기준에 따라 자신을 대표할 대표 데이터를 선택한다....