딥러닝 학습방법(비선형모델 학습)

비선형모델의 학습방법을 AraBoza 아래와 같이 데이터 X와 가중치 W사이의 행렬곱과 bias b벡터로 구성된 식이 있다고 가정해보자 이 때 우리는 W와 b를 수정해나가면서 정답과 가까운 O를 예측하는 것이 목표이다! 계산 결과를 살펴보면 n차원이던 X벡터가 p차원으로 변환되는 것을 살펴볼 수 있다. 다중분류 문제를 풀기위해서 출력벡터 O에 소프트맥스(softmax)라는 함수를 합성하면 특정 클래스에 속할 확률로 해석할 수 있는 확률벡터로 변환해준다 아래는 소프트맥스를 합성한 식이다. 추론을 할 때는 원-핫(one-hot)벡터를 사용해 sofrtmax를 사용하지는 않는다 one-hot벡터 : 최대값을 가진 주소를 1로 나머지를 0으로 표현 여기까지만 본다면 우리는 단순히 선형모델을 푸는 것밖에 되지 않..

경사하강법(Gradient Decent)

경사하강법에 대해 Araboza 최적화 문제를 다루기 위해 목적함수를 설정하고 우리는 목적함수(손실함수)의 손실을 최소화가 필요하다 이 때 경사하강법을 사용할 수 있따! 경사하강법은 기울기 변화를 통해 함수의 최솟값을 찾는 알고리즘이다 먼저 경사하강법에 대해 알기 위해 미분의 개념이 필요하다 Def) 미분(Differential) 어떤 운동이나 함수의 순간적인 움직임을 서술하는 방법, 그것의 도함수를 도출해내는 과정으로 변수의 움직임에 따른 함수값의 변화를 측정하기 위한 도구로 최적화에 자주 쓰임 아래는 파이썬의 sympy 라이브러리를 이용한 미분계산 과정이다 import sympy from sympy.abc import x sym.diff(sym.ply(x**3 + 3*x**2 + 3 ), x) 다변수..

마크다운(MarkDown) 사용법

MarkDown 사용법 .md로 되어있는 확장자, github의 README, R에서의 RmarkDown등 다양한 곳에서 쓰인다. 장점 1. 사용이 쉽고 다양한 플랫폼을 지원한다 단점 1. 표준이 없어 사용자,플랫폼 마다 문법이 상이할 수 있다 그러나 마크다운 문법이 아닌 원시 HTML 문법을 사용 가능 하며 마크다운에서 지원하지 않는 기능을 사용할 때 원시HTML문법을 사용시 대부분 잘 동작한다. 2. 모든 HTML마크업을 지원하지는 않는다. MarkDown 문법 제목(Header) html의 부터 까지 제목 표현가능 # h1 ## h2 ### h3 #### h4 ##### h5 ###### h6 강조 각각 , , 태그로 변환됨. 밑줄은 태그를 사용. 밑줄 처럼 html을 그대로 사용하여도 지원하나 그..

벡터&행렬이란 무엇인가?

벡터란? Def) Vector 수학의 관점에서는 일반적으로 추상적인 벡터공간을 구성하는 원소 보통 크기와 방향성을 갖는 물리량을 나타내는데 사용, 방향이 없으면 스칼라! 4차원 이상으로 가면 방향성 표현이 모호해져 그냥 벡터공간에서 꺼내왔으면 벡터라고 표현 공간에서 한점을 나타내며 원점으로부터 상대적 위치를 표현한다. 수학적으로 표시할 때 열벡터(Column)가 기본이고 행(Row)벡터로 표현시 아래와 같이 트랜스포즈(Transpose)하여 사용한다. $$X^T = [1, 2, 3]$$ 파이썬에서는 Numpy를 사용해 벡터를 생성하는데 기본적으로 행벡터로 생성이된다. 벡터의 연산 벡터의 차원이 같으면 덧셈, 뺄셈, 성분곱(elementewise product)이 가능하다. 성분곱 : 해당 차원의 원소끼리..

Git9 (Git Tag)

중요한 버전은 바로 찾아가자구 ! Tag : 무수히 많은 commit중 중요한 commit에 태깅을 해서 바로 찾아갈 수 있도록 하는 기능 즉, 특정 버전(Commit)에 Tag를 달아놓을 필요가 있을 때 사용(ex- 버전 릴리즈) 실습환경 구축 Remote Repository(이번 이름은 tag_project)만들고 clone! 총 3 번 commit 하기 cat > hello.txt hello, kim git add hello.txt git commit -m 'commit1' hello.txt cat > hello.txt hello, lee git commit -m 'commit2' hello.txt cat > hello.txt hello, park git commit -m 'commit3' hell..

백준을 풀면 자동으로 내 깃허브에 커밋을? (BaekjoonHub, 백준허브)

🙊문제를 풀기만 하면 내 깃허브에 자동으로 문제요약과 커밋을 ? 대부분의 사람들이 코딩테스트 준비나 알고리즘을 공부할 때 가장 많이 사용하는 사이트 중 하나가 백준(BOJ)일 것이다 많은 문제를 풀다보면 내가 무엇을 풀었는지 까먹기도하고 다시 복습하고 싶을 때 찾기도 힘들다 이를 위해서 많은 사람들이 Github에 자신이 푼 문제를 저장해두곤 하는데 매번 풀 때 마다 저장하기도, 문제를 복사 하기도 힘든 것이 현실이다. 초보자의 경우 어떤 형식으로 저장해야할지 부터 고민을 해야하니 😂 그런데 백준에서 문제를 풀기만하면 자동으로 자신이 지정한 레파지토리에 커밋이 되는 기능이 생겼다... 해당 기능은 알고리즘 오픈카톡의 홍보글에서 본 내용인데 내용들은 아래와 같다 안녕하세요? 저는 백준허브의 개발자 flax..

Git8 (Merge and Conflict)

충돌을 막아보자 ! Merge : 브랜치를 다시 병합하는 기능, 현재 위치한 Branch에 다른 Branch를 병합 Conflict : Merge하는 과정에서 양쪽이 똑같은 부분을 수정했을 때 시스템이 이를 사용자한테 알려 해결하는 과정 Merge Tool 설정 git config --global -e # 아래 텍스트 추가, diff때와 마찬가지로 wait 옵션은 선택사항 [merge] tool = vscode [mergetool "vscode"] cmd = "code --wait $MERGED" 실습환경 Setting Remote Repository 생성 이름 : merge_project으로 하겟숨 # clone 후에 해당 폴더로 이동! cd merge_project cat > test.txt my n..

Git7 (Git Diff)

다른 작업과 차이를 비교해보자! Git Editor 설정 git config --global core.editor --wait # ex) git config --global "code --wait" # VSCOde가 code임 ㅋㅋ --wait 옵션은 command line 으로 VSCode를 실행시켰을 경우, VSCode 인스턴스를 닫을 때까지 command를 대기(즉, VSCode 종료 전까지는 커맨드에서 작업 안됨!) 편의에 따라 마음대로 선택하기! Git Diff Tool 설정 Diff : 버전간의 차이점을 조회 Git Configuration 파일 열기 git config --global -e # -e : 여는 옵션 Git Diff 설정 추가 difftool이 원래는 vim으로 설정되어있을텐데 ..