샤트의 빛나는 프로그래밍

- 배치 경사 하강법 - 매개변수 갱신 파이썬 코드 - 모멘텀 - AdaGrad - Adam - 가중치 초기값 설정 - Xavier 초기값 - He 초기값 ❗매개변수 갱신 ❓신경망 학습의 목적은? > 손실 함수의 값을 최소로 하는 매개변수 값을 찾는 것 >> 최적화(Optimization) ❗최적화하는 방법 중 하나? > 확률적 경사 하강법(SGD) >> 매개변수의 기울기를 구해, 기울어진 방향으로 매개변수 값을 갱신하는 작업을 반복해 최적의 값을 찾았음 ❗기울기를 구하는 것과 모험가 이야기 > 가장 깊은 골짜기를 찾으려는 모험가는 지도와 시야가 없는 상황에서 지금 서 있는 장소에서 가장 크게 기울어진 방향으로 가는 전략을 세움 >> 이를 반복하다보면 언젠가 '깊은 곳'을 갈 수 있을 것입니다. >>> ..