샤트의 빛나는 프로그래밍

안녕하세요 프로그래밍을 배우는 빛나는 샤트입니다. 경사 하강법을 배우다 보면 나오는 SGD! 기울기를 따라 손실함수의 값이 최소가 되는 곳을 찾는 과정인데 과연 SGD가 무엇인지 그리고 BGD는 무엇인지 알아봅시다. 여기서는 배치 크기 = 전체 데이터셋 크기 미니배치 = 학습을 진행할 때 전체 데이터셋을 얼마나 나눠서 진행할 것인지 단위(변수명은 batch_size) 아래 내용은 해당 출처에 나온 내용을 재구성했습니다. - www.kakaobrain.com/blog/113 ⭐SGD(stochastic gradient descent) & BGD(batch gradient descent) - 미니배치 크기에 따른 학습 시간 미니배치 크기가 커질수록 학습 시간 줄어든다. - 미니배치 크기에 따른 최적화 탐색 ..