클라우드 기반 인공지능 개발과 DevOps 실무

카테고리컬 데이터의 컬럼을 만들어준 뒤 Dummy varialbe trap를 통해 필요없는 카테고리컬 데이터 컬럼 하나를 없애준다. X=X.drop('Origin_1,axis=1) 카테고리컬 데이터를 정리해준 뒤 피쳐 스케일링을 해준다.

하나의 종속변수와 하나의 독립변수 사이의 관계를 분석할 경우를 단순회귀분석(영어: simple regression analysis), 하나의 종속변수와 여러 독립변수 사이의 관계를 규명하고자 할 경우를 다중회귀분석(영어: multiple regression analysis)이라고 한다. MSE를 기반으로 하고있다.

결정 트리 학습법(decision tree learning)은 어떤 항목에 대한 관측값과 목표값을 연결시켜주는 예측 모델로서 결정 트리를 사용한다.

Hierarchical clustering (한글 : 계층적 군집 분석) 은 비슷한 군집끼리 묶어 가면서 최종 적으로는 하나의 케이스가 될때까지 군집을 묶는 클러스터링 알고리즘이다. 개체들이 결합되는 순서를 나타내는 트리형태의 구조를 덴드로그램(Dendrogram)이라 한다. 위에 그림과 같이 덴드로그램을 통해 눈으로 확인 후 연결선이 적정해진 구간을 가로로 그어 클러스터의 갯수를 정해준다. 클러스터의 갯수는 마음대로 정할 수 있다.

compile() 정의 : 지정된 소스를 실행할 준비가 된 코드 객체로 반환. optimizer = 정규화 시키는 것 손실 함수 (loss function): 모델이 최적화에 사용되는 목적 함수입니다. #리그레션 문제의 엑티베이션 평선은 linear 사용 (분류가 아니기 때문에 linear를 사용) Mean_Squared_error 예측한 값과 실제 값 사이의 평균 제곱 오차를 정의한다. 공식이 매우 간단하며, 차가 커질수록 제곱 연산으로 인해서 값이 더욱 뚜렷해진다. 그리고 제곱으로 인해서 오차가 양수이든 음수이든 누적 값을 증가시킨다. RMSE(Root Mean Squared Error) MSE에 루트(√)를 씌운 것으로 MSE와 기본적으로 동일하다. MSE 값은 오류의 제곱을 구하기 때문에 실제 오..

batch_size(배치사이즈) : Gradient Descent 를 한번 계산하기 위한 학습 데이터의 개수 #datch_size() n개의 행렬을 넣어서 계산 (속도를 더 빨리 할 수 있다.) 사람이 정해주는 파라미터 => 하이퍼 파라미터 epochs(에포크) =전체 학습 데이터를 몇번 반복 할것지의 대한 수 #A라는 학습 데이터를 몇번 반복시켜 학습 시킬것인지 대한 갯수 아래 사진과 같이 학습시킬때 값을 대입한다.

# Dummy varialbe trap : 즉 맨 왼쪽 하나의 컬럼은 지워도 된다. # 불필요한 컬럼을 없애는 것 # 0 0 1 => 0 1 # 0 1 0 => 1 0 # 1 0 0 => 0 0 출처:https://m.blog.naver.com/magnking/221150858186

Optimization 의 큰 틀부터 보자 딥러닝의 학습에서는 최대한 틀리지 않는 방향으로 학습해 나가야 한다. 여기서 얼마나 틀리는지(loss)를 알게 하는 함수가 loss function=손실함수이다. loss function의 최소값을 찾는 것을 학습의 목표로 한다. 여기서 최소값을 찾아가는 것을 최적화=Optimization 이라고 하고 이를 수행하는 알고리즘이 최적화 알고리즘=Optimizer 이다. GD를 기본으로 하여 loss function이 최소가 되는 지점, 즉 최적의 가중치를 찾는 방법 옵티마이저는 학습 데이터(Train data)셋을 이용하여 모델을 학습 할 때 데이터의 실제 결과와 모델이 예측한 결과를 기반으로 잘 줄일 수 있게 만들어주는 역할을 한다. optimizer를 쓰는 곳..

경사 하강법(Gradient Descent)은 머신러닝 및 딥러닝 알고리즘을 학습시킬때 사용하는 방법 중 하나이며 1차 근삿값 발견용 최적화 알고리즘이다. 기본 개념은 함수의 기울기(경사)를 구하여 기울기가 낮은 쪽으로 계속 이동시켜 극값(최적값)에 이를 때까지 반복하는 것이다. Gradient Descent 는 Gradient(경사),Descent(내려감)이라는 뜻으로 # 옵티마이저, 그레디언트 알고리즘을 개선한 것들 중에서 선택하면 된다. #그래디언트 디센트는, 오차가 최소가 될때의 W 값을 찾는 알고리즘이다. #lose 는 , 오차함수를 말한다 # 분류의 문제는 2가지로 나뉜다. # 1. 2개로 분류하는 문제 :binary_crossentropy # 2. 3개 이상으로 분류하는 문제 : caterg..

신경망(Neural Network) 딥러닝은 기본 층들을 쌓아서 구성한 신경망(Neural Network)이라는 모델을 사용하여 학습을 진행합니다. 신경망은 뉴런(Neuron)들로 이루어진 그룹을 의미합니다. 신경망은 원래 신경 생물학의 용어입니다. 뉴런들의 끝이 다른 뉴런들과 연결된 구조입니다. 뇌 구조를 이해하는 것에서 영감을 받아서 딥러닝 모델의 핵심 개념을 설명하지만, 실제로 뇌를 모델링하여 만든 것은 아니라고 합니다. 그저 하나의 데이터 학습을 새로운 방식으로 하는 수학 모델이라고 보시면 됩니다.