Introduction
Softmax 함수가 무엇인지 알기 위해 먼저 순차적으로 정보이론, Shannon entropy, Kullback-Leibler divergence, 그리고 Cross entropy에 대해서 살펴본다. 마지막으로 Softmax 함수가 어떻게 Backpropagation되어 weigth이 update 되는지 살펴 보도록 한다.
Contents
Conclusion
Softmax 함수가 무엇인지 구체적으로 알게 되었으며, 실제 Score와 Softmax를 통해 나온 확률 값을 어떻게 비교해야 하는지도 알게 되었다. Loss를 softmax 함수 x에 대해 backpropagation을 해봄으로써 x가 변화할 때의 Loss의 변화량을 알게 되었다.
Reference
- https://ratsgo.github.io/
- https://brunch.co.kr/
- https://selfish-developer.com/