Gradient Descent(경사 하강법)

개념

점진적  학습 일부이며 가장 빠른 길(경사가 가장 가파른 길)을 찾는 알고리즘이다.

훈련 세트를 한 번 모두 사용하는 과정을 에포크라고 부른다.

분류

• 확률적 경사 하강법 : 훈련 세트에서 하나의 데이터를 랜덤하게 골라 가장 가파른 길을 찾는다.
• 미니 배치 경사 하강법 : 훈련 세트에서 무작위로 몇 개의 데이터를 선택해서 가장 가파른 길을 찾는다.
• 배치 경사 하강법 : 훈련 세트 전체를 사용하여 가장 가파른 길을 찾는다.

 

출처: https://towardsdatascience.com/gradient-descent-algorithm-and-its-variants-10f652806a3