[밑바닥부터 시작하는 딥러닝1] 밑딥 스터디 CH3 정리

활성화함수

시그모이드 함수

• $h(x) = 1/1+exp(-x)$
• 시그모이드와 계단함수의 차이점 : 매끄러움. 계단함수는 0 or 1의 값을 돌려주지만, 시그모이드 함수는 0과 1 사이의 연속적인 값을 가지고 있음.

ReLU 함수

• Rectified linear Unit
• 입력이 0 이상이면 값을 그대로 사용, 0 이하면 0을 출력

def relu(x):
	return np.maximum(0, x)

*배열의 차원 수 : np.ndim() 함수로 확인 가능