샤트의 빛나는 프로그래밍

활성화값 분포가 적당히 퍼지면서 원활한 학습 - 각 층이 활성화를 적당히 퍼뜨리도록 '강제' 6.3.1 배치 정규화 알고리즘 - 학습을 빨리 진행할 수 있다 - 초기값에 크게 의존하지 않는다 - 오버피팅을 억제한다 *배치 정규화: 학습 시 미니배치 단위로 정규화. 데이터 분포가 평균이 0, 분산이 1. 위 식은 단순히 미니배치 입력 데이터 {x1, x2, ..., xm}을 평균0, 분산1인 데이터로 변환. 이를 활성화 함수 앞(또는 뒤)에 삽입 --> 데이터 분포가 덜 치우치게 만들 수 있다. *배치 정규화 계층마다 이 정규화된 데이터에 고유한 확대와 이동변환을 수행 *신경망의 순전파에서 적용되는 계산 그래프(그림 6-17) 6.3.2 배치 정규화의 효과 - MNIST 데이터셋을 이용해 배치 정규화 계층..

안녕하세요 프로그래밍을 배우는 빛나는 샤트입니다. 경사 하강법을 배우다 보면 나오는 SGD! 기울기를 따라 손실함수의 값이 최소가 되는 곳을 찾는 과정인데 과연 SGD가 무엇인지 그리고 BGD는 무엇인지 알아봅시다. 여기서는 배치 크기 = 전체 데이터셋 크기 미니배치 = 학습을 진행할 때 전체 데이터셋을 얼마나 나눠서 진행할 것인지 단위(변수명은 batch_size) 아래 내용은 해당 출처에 나온 내용을 재구성했습니다. - www.kakaobrain.com/blog/113 ⭐SGD(stochastic gradient descent) & BGD(batch gradient descent) - 미니배치 크기에 따른 학습 시간 미니배치 크기가 커질수록 학습 시간 줄어든다. - 미니배치 크기에 따른 최적화 탐색 ..

- 배치 경사 하강법 - 매개변수 갱신 파이썬 코드 - 모멘텀 - AdaGrad - Adam - 가중치 초기값 설정 - Xavier 초기값 - He 초기값 ❗매개변수 갱신 ❓신경망 학습의 목적은? > 손실 함수의 값을 최소로 하는 매개변수 값을 찾는 것 >> 최적화(Optimization) ❗최적화하는 방법 중 하나? > 확률적 경사 하강법(SGD) >> 매개변수의 기울기를 구해, 기울어진 방향으로 매개변수 값을 갱신하는 작업을 반복해 최적의 값을 찾았음 ❗기울기를 구하는 것과 모험가 이야기 > 가장 깊은 골짜기를 찾으려는 모험가는 지도와 시야가 없는 상황에서 지금 서 있는 장소에서 가장 크게 기울어진 방향으로 가는 전략을 세움 >> 이를 반복하다보면 언젠가 '깊은 곳'을 갈 수 있을 것입니다. >>> ..