[밑바닥부터 시작하는 딥러닝1] 밑딥 스터디 CH4 정리

loss function

• 신경망 성능의 ‘나쁨’을 나타내는 지표로, 현재의 신경망이 훈련 데이터를 얼마나 잘 처리하지 못하느냐를 나타냄

SSE(오차제곱합, sum of wquares for error)

$$ E = \text{\(\frac 1 2\)}\displaystyle\sum_k (y_k - t_k)^2 $$

CEE(교차 엔트로피 오차, cross entropy error)

$$E = -\sum_{k} t_k \log y_k $$

• one-hot encoding : 정답 위치의 원소만 1, 나머지는 0

❓ 최적의 매개변수를 탐색할 때 정확도를 지표로 삼아서는 안 되는 이유

• 정확도는 비연속적인 함수이므로.
• ex) 100개 중 95개가 정답이면 95%, 96개가 정답이면 96%.

 

• 기울기가 가리키는 쪽 = 각 장소에서 함수의 output을 가장 크게 줄이는 방향