3D Understanding

3D는 로봇, 컴퓨터비전, AI모든 분야에서 중요하게 여겨짐 Why? 우리가 바로 3D 세상에서 살고있기 때문! 따라서 3D 공간에 대한 이해가 있어야 우리에게 실질적으로 도움이 될 수 있음 3D applications AR/VR 3D printing Medical applications 3D를 관찰하는 방법 이미지는 3D세상을 2D공간에 projection 한 것 이다, 즉 3D와 2D는 프로젝션 관계 이를 가능하게 해주는 장치 중 하나가 카메라인데 재밌는 것은 아래와 같이 서로 다른 각도에서 찍은 2D이미지를 통해 3D로의 복원이 가능하다는 것이다. 각 사진에서 3D로 복원할 부분을 일직선으로 쭉 그은뒤 교차하는 부분을 3D포인트라고 하고 이를 Triangulation이라고 한다. (이를 위해서는 단..

EfficientDet

EfficientDet Intro object detection은 속도, 성능 둘 다 중요시 여겨집니다. 이 둘을 모두 잡고 싶어서 나온게 efficientDet 주로 더 좋은 성능을 얻기 위해서는 모델의 크기를 키우는 방법을 사용하는데 어느 정도 모델을 키우고 나면 성능의 이점은 업속 파라미터가 많아지며 속도가 느려짐 따라서 효율적으로 모델을 키울 방법을 찾아야 한다! (b)처럼 width만을 키울수도, (c)처럼 depth만을 키울수도, (d)처럼 해상도만을 높일 수도 있고 (e)처럼 모든걸 종합해서 높일 수도 있다 여기서 EfficientNet팀이 네트워크의 width, depth, resolution을 균형있게 맞추는 것이 중요함을 보였고 그러한 균형을 맞추는 방법에 대해 제시하였다. Effici..

Cost Function & Activation Function

Cost Function과 Activation Function은 무엇인가요? Cost Function 이란? 모델은 데이터에 대한 예측을 얼마나 어떻게 잘하고 있는지 알아야 학습방향을 수정할 수 있는데 이 때 모델의 예측값과 데이터 값의 차이에 대한 함수를 cost function이라 한다 MSE, CrossEntropy 등이 있다. cost function을 최소화함으로써 모델을 잘 학습시키는 방향으로 갈 수 있다 activation function 이란? 선형 모델만을 사용하면 복잡한 데이터에 대해서 예측을 할 수 없다(깊게 쌓아도 하나의 층을 잘 튜닝한 것과 다르지 않아서) 이를 처리하기 위해 비선형 모델이 필요한데 선형 모델을 비선형 모델로 만들어주는 역할을 하는 함수가 activation fuc..

Local Minima 문제에도 불구하고 딥러닝이 잘 되는 이유는?

목차 Local Minima 문제에도 불구하고 딥러닝이 잘 되는 이유는? GD(Gradient Descent)가 Local Minima 문제를 피하는 방법은? 찾은 해가 Global Minimum인지 아닌지 알 수 있는 방법은? local minima 문제란 ? 우리의 목표는 loss가 최소가 되길 원하는데 자칫 잘못하면 우리가 원하는 목표가 아닌 곳에서 이 loss값이 제일 작다고 판별할 수 있다. (local minimum에서도 gradient가 0이라 업데이트가 되지 않을 수 있음) 2014년 논문에 따르면([Dauphin14] [Y. Dauphin, R. Pascanu, C. Gulcehre, K. Cho, S. Ganguli, Y. Bengio. Identifying and attacking t..

누적분포 함수와 확률밀도 함수

누적 분포 함수(Cumulative Distribution Function, CDF) 주어진 확률변수가 특정 값보다 작거나 같을 확률을 나타내는 함수 $$ F(a) = P(X ≤ a)$$ 확률밀도함수(probability density function) 연속확률변수 X에 대해서 F(x)가 누적분포함수 일 때 X의 확률밀도함수 f(x)는 아래와 같이 정의한다 $$ F(X) = \int^x_{-\infty} f(x) dx$$ ++추가 설명 확률 변수 X가 임의의 실수 집합 B에 포함되는 사건의 확률이 다음과 같이 음이 아닌 함수 f의 적분으로 주어진다 하자 $$ P(X \in B) = \int_{B} f(x) dx$$ 이 때 X를 연속확률변수라고 하고 f(x)를 확률 밀도 함수라고 한다. 이 때 해당 집합(..

조건부확률

조건부 확률은 무엇인가요? 사건 A가 일어났다는 전제 하에 사건 B가 일어날 확률 $$ P(B|A) = P(B \cap A) / P(A) $$ 이 조건부 확률은 베이즈 정리와도 이어져 매우매우 중요함! 베이즈 정리 데이터라는 조건이 주어졌을 때의 조건부확률을 구하는 공식 데이터가 주어지기 전의 사전확률 값이 데이터가 주어지면 어떻게 변하는지 계산할 수 있다 따라서 데이터가 주어지기 전에 이미 어느 정도 확률 값을 예측하고 있을 때 이를 새로 수집한 데이터와 합쳐서 최종 결과에 반영할수 있다 이는 데이터의 개수가 부족할 경우 아주 유용하고 데이터를 매일 추가적으로 얻는 상황에서도 매일 전체 데이터를 대상으로 새로 분석작업을 할 필요없이 어제분석결과에 오늘 들어온 데이터를 합쳐서 업데이트만 하면 되므로 유용..

확률변수와 확률모형

확률변수(Random Variable) 표본공간의 단위 사건에 대해 실수값을 mapping하는 함수 즉, 사건에 숫자를 부여하는 행위 가장 쉬운 예시는 주사위를 굴리는 상황 주사위를 굴렸을 때 나오는 어떤 값이 나올 확률로 해석 가능 ex) P(X=1) = 1/6 이 때 확률변수의 값을 셀 수 있는지 없는지에 따라 이산확률변수, 연속확률변수로 나눔 확률모형(Probability Model) 확률변수를 사용하여 데이터의 분포를 수학적으로 정의한 모형 이 때 수학적인 수식을 확률분포함수(probability distribution func), 식을 결정짓는 값을 모수(parameter)라고 한다. 가장 유명한 확률 모형 중 하나는 가우시안 정규분포가 있다 아래와 같은 함수들이 확률모형에 포함 될 수 있다. ..

샘플링과 리샘플링

샘플링이란? 우리는 세상의 데이터들을 관측할 때 모든 데이터를 전부 살펴보기에는 힘듦 따라서 일부만을 잘 뽑아내서 모집단 전체의 경향성을 살펴보고 싶음(모집단 전체에 대 한 추정) 이 때 사용하는 것이 표본추출이고 이를 샘플링이라 함 그러나 아무리 잘 뽑아내도 완벽히 모집단 그 자체와 같을 수는 없고 놓치는 부분이 생겨 노이즈가 존재할 수 밖에 없음 이를 보정하기 위해 또 리샘플링이라는 기법을 사용!' 리샘플링이란? 일부의 표본추출만으로는 모집단의 분포 형태를 정확히 알 수 없음 보유한 샘플들에서 다시 부분집합을 뽑아 통계량의 변동성을 확인하는 방법 이를 리샘플링이라 함 대표적인 예시로 k-fold 교차검증, bootstrapping 기법이 있음 k -fold 교차검증 일반적으로 train set, te..