Cost Function & Activation Function

반응형

Cost Function과 Activation Function은 무엇인가요?

• Cost Function 이란?
  • 모델은 데이터에 대한 예측을 얼마나 어떻게 잘하고 있는지 알아야 학습방향을 수정할 수 있는데 이 때 모델의 예측값과 데이터 값의 차이에 대한 함수를 cost function이라 한다
  • MSE, CrossEntropy 등이 있다.
  • cost function을 최소화함으로써 모델을 잘 학습시키는 방향으로 갈 수 있다

• activation function 이란?
  • 선형 모델만을 사용하면 복잡한 데이터에 대해서 예측을 할 수 없다(깊게 쌓아도 하나의 층을 잘 튜닝한 것과 다르지 않아서)
  • 이를 처리하기 위해 비선형 모델이 필요한데 선형 모델을 비선형 모델로 만들어주는 역할을 하는 함수가 activation fuction이다
  • 대표적인 예로 Sigmoid, ReLU등이 있다.