Back Propagation이란
'Back Propagation' 는 Output Layer 직전의 Layer부터 최적화합니다.
미리 말하고 싶은 것은 'Back Propagation'도 Gradient Descent를 이용합니다. 즉 앞서 배웠던 Forward Propagation처럼 Cost를 구하여 W를 여러번 갱신하여 최적화합니다.
다만 그 차이는 'Forward Propagation'은 한번의 갱신을 위한 Cost를 구하는데 비효율적으로 많은 연산을 필요로 합니다.
그러나 'Back Propagation'에서는 최적화의 순서를 달리하여 몇번의 연산만으로 Cost를 구할 수 있습니다.
수식↓
A Step-by-Step Implementation of Gradient Descent and Backpropagation
One example of building neural network from scratch
towardsdatascience.com
[머신러닝] Back Propagation(역전파) 정복하기
시작하며 오늘은 머신러닝에서 가장 큰 고비 중 하나인 ' Back Propagation(역전파) 알고리즘' 에 대해 공부해보겠습니다. 알고리즘을 이해하기 어려울 수도 있고, 복잡한 수식이 나와 거부감이 드실
box-world.tistory.com
Gradient descent algorithm(경사하강법)과 back propagation
이 포스팅은 sung kim 교수님 강의 의 자료를 활용했습니다. Gradient descent algorithm review Loss function(=cost function=objective function)은 실제 값과 추정 값의 차이를 나타내는 함수. 즉, 얼마나 틀..
sanghyu.tistory.com
'AI > 이론' 카테고리의 다른 글
| [ML] 분류 성능 평가 지표 (0) | 2022.01.02 |
|---|---|
| [ML] CNN의 역전파(backpropagation) (0) | 2021.12.30 |
| [ML] Transfer learning 2 (0) | 2021.12.30 |
| [ML] Fully Convolutional Layer, Fully Connected Layer, AutoEncoder (0) | 2021.12.28 |
| [ML] K-Fold Cross Validation(교차검증) (0) | 2021.11.09 |