3D Understanding

3D는 로봇, 컴퓨터비전, AI모든 분야에서 중요하게 여겨짐 Why? 우리가 바로 3D 세상에서 살고있기 때문! 따라서 3D 공간에 대한 이해가 있어야 우리에게 실질적으로 도움이 될 수 있음 3D applications AR/VR 3D printing Medical applications 3D를 관찰하는 방법 이미지는 3D세상을 2D공간에 projection 한 것 이다, 즉 3D와 2D는 프로젝션 관계 이를 가능하게 해주는 장치 중 하나가 카메라인데 재밌는 것은 아래와 같이 서로 다른 각도에서 찍은 2D이미지를 통해 3D로의 복원이 가능하다는 것이다. 각 사진에서 3D로 복원할 부분을 일직선으로 쭉 그은뒤 교차하는 부분을 3D포인트라고 하고 이를 Triangulation이라고 한다. (이를 위해서는 단..

Cost Function & Activation Function

Cost Function과 Activation Function은 무엇인가요? Cost Function 이란? 모델은 데이터에 대한 예측을 얼마나 어떻게 잘하고 있는지 알아야 학습방향을 수정할 수 있는데 이 때 모델의 예측값과 데이터 값의 차이에 대한 함수를 cost function이라 한다 MSE, CrossEntropy 등이 있다. cost function을 최소화함으로써 모델을 잘 학습시키는 방향으로 갈 수 있다 activation function 이란? 선형 모델만을 사용하면 복잡한 데이터에 대해서 예측을 할 수 없다(깊게 쌓아도 하나의 층을 잘 튜닝한 것과 다르지 않아서) 이를 처리하기 위해 비선형 모델이 필요한데 선형 모델을 비선형 모델로 만들어주는 역할을 하는 함수가 activation fuc..

Local Minima 문제에도 불구하고 딥러닝이 잘 되는 이유는?

목차 Local Minima 문제에도 불구하고 딥러닝이 잘 되는 이유는? GD(Gradient Descent)가 Local Minima 문제를 피하는 방법은? 찾은 해가 Global Minimum인지 아닌지 알 수 있는 방법은? local minima 문제란 ? 우리의 목표는 loss가 최소가 되길 원하는데 자칫 잘못하면 우리가 원하는 목표가 아닌 곳에서 이 loss값이 제일 작다고 판별할 수 있다. (local minimum에서도 gradient가 0이라 업데이트가 되지 않을 수 있음) 2014년 논문에 따르면([Dauphin14] [Y. Dauphin, R. Pascanu, C. Gulcehre, K. Cho, S. Ganguli, Y. Bengio. Identifying and attacking t..

[DL]Optimizer

Intro Optimization, Optimizer, Adam, SGD 등등 다들 많이 들어본 단어같긴 한데 대체 뭘 하는 녀석들일까요? 먼저, Optimize의 사전상 뜻은 최대한 좋게[적합하게] 만들다입니다. 과연 뭘 최적화한다는 것일까요? Optimization은 딥러닝뿐 아니라 수학, 물리같은 분야에서 함수를 모델로 한 시스템의 함수 값 등을 최소/최대화 되는 상태를 해석하는 문제에서 사용됩니다. 딥러닝에서는 주로 모델링한 것들의 cost(loss값 등)를 최소화하는데 사용되고 이는 학습속도를 높이거나 안정된 방향으로 학습이되도록 도와줍니다. Gradient Decent Methods 우리가 가장기초적으로 알고있는 Gradient Decent도 어떻게 사용하냐에 따라 다른 결과를 가져올 수 있습..

[DL]딥러닝 개요

Intro 딥러닝(Deep Learning, DL)이란 무엇일까? 아래는 위키피디아의 정의이다 딥러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습의 한 분야이다(출처 : wikipedia) 여기저기서 많이 들어본 말로 표현하자면, 흔히 알고있는 인공신경망(neural networks)을 통해 학습시키고 원하는 결과를 얻어내는 작업들이다 Key Components of Deep Learning 딥러닝에서 가장 중요한 4가지 요소가 있다 1. 데이터 모델이 학습할 수 있는 데이터가 필요하다. 아마 가장 중요하다고 말할 수 있는 부분이다, 딥러닝은 데이터가 성능을 좌우한다고..