sigmoid, Leaky ReLU, tanh, Maxout, ReLU, ELU, Parametric ReLU, softmax
tanh → 미분 할 때 계산량이 늘어남.
0 이하는 0, 0이상은 그값 그대로 출력 → 출력층 말고 은닉층에서 주로 많이 사용됨.
이진 분류에서 사용
3개 이상의 다중 클래스 분류에서 사용되는 활성화 함수
분류될 클래스가 n개일때, n차원의 벡터를 받아 각 클래스에 속할 확률을 추정한다.
단점 : 기울기 소실 문제 등, 기울기를 제대로 찾지 못해서 학습의 효율성이 떨어진다.