Local Minima 문제에도 불구하고 딥러닝이 잘 되는 이유는?

목차

1. Local Minima 문제에도 불구하고 딥러닝이 잘 되는 이유는?
2. GD(Gradient Descent)가 Local Minima 문제를 피하는 방법은?
3. 찾은 해가 Global Minimum인지 아닌지 알 수 있는 방법은?

 

local minima 문제란 ?

우리의 목표는 loss가 최소가 되길 원하는데 자칫 잘못하면 우리가 원하는 목표가 아닌 곳에서 이 loss값이 제일 작다고 판별할 수 있다. (local minimum에서도 gradient가 0이라 업데이트가 되지 않을 수 있음)

 

 

 

2014년 논문에 따르면([Dauphin14] [Y. Dauphin, R. Pascanu, C. Gulcehre, K. Cho, S. Ganguli, Y. Bengio. Identifying and attacking the saddle point problem in high-dimensional non-convex optimization.](http://arxiv.org/pdf/1406.2572.pdf))

• local minima문제는 사실상 고차원공간에서 발생하기 힘든 현상이기 때문이다.
• 실제 딥러닝 모델에서는 엄청난 수의 weight가 있는데 이 weight들이 모두 local minima에 빠져야 weight update가 정지 되기 때문에 사실상 큰 문제가 되지 않는다

• 고차원 공간에서의 critical point는 대부분 saddle point이다
• 또한 local minima가 발생한다 해도 이는 사실 global minimum이거나 global minimum과 유사한 에러값을 가져 문제가 되지 않는다(실험적 결과)

GD(Gradient Descent)가 Local Minima 문제를 피하는 방법은?

• Momentum, Adagrad, Adam 등을 통해 Local minima 문제를 피할 수 있다.
• Minimum한 값을 찾기 위해서는 lr, momentum 등을 조절하며 찾아가는데 이는 결국 optimizer 문제와 연결되고 이를 모두 설명하기에는 너무 길어 좋은 그림이 있어 그림으로 대체한다

 

찾은 해가 Global Minimum인지 아닌지 알 수 있는 방법은?

• 딥러닝에서 다루는 문제가 convexity를 만족하지 않아 global Minima인지 정확하게 알 수 없다
• 그러나 애초에 위에서 언급했듯 saddle point가 아닌 local minimum이 발생하기도 힘들 뿐더러 모든 방향에서 아래로 볼록인 local minima를 찾았다면 그 지짐어 global minima일 가능성이 높다

• 그림 출처 : https://www.facebook.com/groups/TensorFlowKR/permalink/1705407176467000/
• https://www.slideshare.net/yongho/ss-79607172/49