샤트의 빛나는 프로그래밍

활성화값 분포가 적당히 퍼지면서 원활한 학습 - 각 층이 활성화를 적당히 퍼뜨리도록 '강제' 6.3.1 배치 정규화 알고리즘 - 학습을 빨리 진행할 수 있다 - 초기값에 크게 의존하지 않는다 - 오버피팅을 억제한다 *배치 정규화: 학습 시 미니배치 단위로 정규화. 데이터 분포가 평균이 0, 분산이 1. 위 식은 단순히 미니배치 입력 데이터 {x1, x2, ..., xm}을 평균0, 분산1인 데이터로 변환. 이를 활성화 함수 앞(또는 뒤)에 삽입 --> 데이터 분포가 덜 치우치게 만들 수 있다. *배치 정규화 계층마다 이 정규화된 데이터에 고유한 확대와 이동변환을 수행 *신경망의 순전파에서 적용되는 계산 그래프(그림 6-17) 6.3.2 배치 정규화의 효과 - MNIST 데이터셋을 이용해 배치 정규화 계층..