기억 저장소

클라우드 기반 인공지능 개발과 DevOps 실무

Optimizer 2

딥러닝 : loss function / compile() 리그레션 문제에서 컴파일 함수의 파라미터 사용법

compile() 정의 : 지정된 소스를 실행할 준비가 된 코드 객체로 반환. optimizer = 정규화 시키는 것 손실 함수 (loss function): 모델이 최적화에 사용되는 목적 함수입니다. #리그레션 문제의 엑티베이션 평선은 linear 사용 (분류가 아니기 때문에 linear를 사용) Mean_Squared_error 예측한 값과 실제 값 사이의 평균 제곱 오차를 정의한다. 공식이 매우 간단하며, 차가 커질수록 제곱 연산으로 인해서 값이 더욱 뚜렷해진다. 그리고 제곱으로 인해서 오차가 양수이든 음수이든 누적 값을 증가시킨다. RMSE(Root Mean Squared Error) MSE에 루트(√)를 씌운 것으로 MSE와 기본적으로 동일하다. MSE 값은 오류의 제곱을 구하기 때문에 실제 오..

딥러닝 옵티마이저(Optimizer) 종류

Optimization 의 큰 틀부터 보자 딥러닝의 학습에서는 최대한 틀리지 않는 방향으로 학습해 나가야 한다. 여기서 얼마나 틀리는지(loss)를 알게 하는 함수가 loss function=손실함수이다. loss function의 최소값을 찾는 것을 학습의 목표로 한다. 여기서 최소값을 찾아가는 것을 최적화=Optimization 이라고 하고 이를 수행하는 알고리즘이 최적화 알고리즘=Optimizer 이다. GD를 기본으로 하여 loss function이 최소가 되는 지점, 즉 최적의 가중치를 찾는 방법 옵티마이저는 학습 데이터(Train data)셋을 이용하여 모델을 학습 할 때 데이터의 실제 결과와 모델이 예측한 결과를 기반으로 잘 줄일 수 있게 만들어주는 역할을 한다. optimizer를 쓰는 곳..