[빅분기 실기] 인공신경망

인공신경망

인간의 뉴런구조와 활성화 작동원리를 이용하여 input(자극)과 output(반응)의 연관을 구현한 알고리즘

중간에 은닉층(hidden layers)과 노드(node)를 두어 특성치로부터 분류와 회귀를 더 잘할 수 있도록 함

 

 

[주요 하이퍼파라미터]

- hidden_layer_sizes : 은닉층 개수

- activation : 활성화 함수  ex) linear, sigmoid, relu, tanh

- solver : 옵티마이저  ex) sgd, adam

- 노드 개수

- 학습율 (learning rate)

 

 

 

 

---

 

 

Part 1. 분류 (Classification)

 

1. 분석 데이터 준비

import pandas as pd

# 유방암 예측 분류 데이터
data1=pd.read_csv('breast-cancer-wisconsin.csv', encoding='utf-8')

X=data1[data1.columns[1:10]]
y=data1[["Class"]]

 

 

 

1-2. train-test 데이터셋 나누기

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test=train_test_split(X, y, stratify=y, random_state=42)

 

 

 

1-3. Min-Max 정규화

from sklearn.preprocessing import MinMaxScaler

scaler=MinMaxScaler()
scaler.fit(X_train) 

X_scaled_train=scaler.transform(X_train)
X_scaled_test=scaler.transform(X_test)

 

 

 

 

2. 기본모델 적용

 

2-1. 훈련 데이터

from sklearn.neural_network import MLPClassifier

model=MLPClassifier()
model.fit(X_scaled_train, y_train)

pred_train=model.predict(X_scaled_train)
model.score(X_scaled_train, y_train)  # 0.97265625

 

 

 

① 오차행렬 (confusion matrix)

from sklearn.metrics import confusion_matrix

confusion_train=confusion_matrix(y_train, pred_train)
print("훈련데이터 오차행렬:\n", confusion_train)

정상(0) 중 6명이 오분류, 환자(1) 중 8명이 오분류되었다.

 

 

 

② 분류예측 레포트 (classification report)

from sklearn.metrics import classification_report

cfreport_train=classification_report(y_train, pred_train)
print("분류예측 레포트:\n", cfreport_train)

정밀도(precision) = 0.97, 재현율(recall) = 0.97

 

 

 

2-2. 테스트 데이터

pred_test=model.predict(X_scaled_test)
model.score(X_scaled_test, y_test)  # 0.9590643274853801

 

 

 

① 오차행렬 (confusion matrix)

confusion_test=confusion_matrix(y_test, pred_test)
print("테스트데이터 오차행렬:\n", confusion_test)

정상(0) 중 5명이 오분류, 환자(1) 중 2명이 오분류되었다.

 

 

 

② 분류예측 레포트 (classification report)

cfreport_test=classification_report(y_test, pred_test)
print("분류예측 레포트:\n", cfreport_test)

정밀도(precision) = 0.95, 재현율(recall) = 0.96

 

 

 

 

3. 하이퍼파라미터 튜닝

 

3-1. Grid Search

param_grid={'hidden_layer_sizes': [10, 30, 50, 100], 
	    'solver': ['sgd', 'adam'], 
            'activation': ['tanh', 'relu']}

다양한 하이퍼파라미터 중 hidden_layer_sizes (은닉총수), solver(옵티마이저), activation(활성화함수) 를 튜닝한다.

 

 

 

from sklearn.model_selection import GridSearchCV

grid_search=GridSearchCV(MLPClassifier(), param_grid, cv=5)
grid_search.fit(X_scaled_train, y_train)

 

 

 

print("Best Parameter: {}".format(grid_search.best_params_))
print("Best Score: {:.4f}".format(grid_search.best_score_))
print("TestSet Score: {:.4f}".format(grid_search.score(X_scaled_test, y_test)))

최적의 activation은 tanh, hidden_layer_sizes는 100, solver는 adam의 조합으로,

이때 훈련 데이터의 정확도는 97.9%, 테스트 데이터의 정확도는 95.9% 이다.

 

 

 

3-2. Random Search

from scipy.stats import randint

param_distribs={'hidden_layer_sizes': randint(low=10, high=100),
                'solver': ['sgd', 'adam'], 
                'activation': ['tanh', 'relu']}

solver와 activation은 동일하게 2가지로 하고 hidden_layer_sizes를 10~100 사이의 범위에서 

10번(n_iter) 무작위 추출하는 방식을 적용한다.

 

 

 

from sklearn.model_selection import RandomizedSearchCV

random_search=RandomizedSearchCV(GaussianNB(), 
                                 param_distributions=param_distribs, n_iter=100, cv=5)
random_search.fit(X_scaled_train, y_train)

 

 

 

print("Best Parameter: {}".format(random_search.best_params_))
print("Best Score: {:.4f}".format(random_search.best_score_))
print("TestSet Score: {:.4f}".format(random_search.score(X_scaled_test, y_test)))

최적의 activation은 relu, hidden_layer_sizes는 68, solver는 adam의 조합으로,

이때 훈련 데이터의 정확도는 97.3%, 테스트 데이터의 정확도는 95.9% 이다.

 

 

 

 

---

 

 

Part 2. 회귀 (Regression)

 

1. 분석 데이터 준비

# 주택 가격 데이터
data2=pd.read_csv('house_price.csv', encoding='utf-8')

X=data2[data2.columns[1:5]]
y=data2[["house_value"]]

 

 

 

1-2. train-test 데이터셋 나누기

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test=train_test_split(X, y, random_state=42)

 

 

 

1-3. Min-Max 정규화

from sklearn.preprocessing import MinMaxScaler

scaler=MinMaxScaler()
scaler.fit(X_train)

X_scaled_train=scaler.transform(X_train)
X_scaled_test=scaler.transform(X_test)

 

 

 

 

2. 기본모델 적용

 

2-1. 훈련 데이터

from sklearn.neural_network import MLPRegressor

model=MLPRegressor()
model.fit(X_scaled_train, y_train)

pred_train=model.predict(X_scaled_train)
model.score(X_scaled_train, y_train)  # -2.8006239432716575

정확도가 -280%로 나타난 것은 매우 잘못된 결과다.

 

 

 

2-2. 테스트 데이터

pred_test=model.predict(X_scaled_test)
model.score(X_scaled_test, y_test)  # -2.758166270245026

테스트 데이터의 정확도 역시 -276%로 이상하다.

 

 

 

① RMSE (Root Mean Squared Error)

import numpy as np
from sklearn.metrics import mean_squared_error 

MSE_train = mean_squared_error(y_train, pred_train)
MSE_test = mean_squared_error(y_test, pred_test)

print("훈련   데이터 RMSE:", np.sqrt(MSE_train))
print("테스트 데이터 RMSE:", np.sqrt(MSE_test))

오차는 훈련 데이터와 테스트 데이터 모두 다른 알고리즘에 비해 매우 크다.

 

 

 

 

3. 튜닝모델

이 모델은 하이퍼파라미터가 매우 다양하여 최적 조합을 찾는 것이 힘들다.
따라서 은닉층을 3개로 두어 각각 64개의 노드를 구성하는 조금 깊은 모델을 만든다.

 

3-1. 훈련 데이터

from sklearn.neural_network import MLPRegressor

model=MLPRegressor(hidden_layer_sizes=(64,64,64),activation="relu" ,random_state=1, max_iter=2000)
model.fit(X_scaled_train, y_train)

pred_train=model.predict(X_scaled_train)
model.score(X_scaled_train, y_train)  # 0.5661979037463138

분석 결과 56.6%의 정확도로 이전보다 좋은 결과가 나온다.

 

 

 

 

3-2. 테스트 데이터

pred_test=model.predict(X_scaled_test)
model.score(X_scaled_test, y_test)  # 0.5840866843135079

테스트 데이터의 정확도도 58.4%로 좋게 나타나고 있다.

 

 

 

 

① RMSE (Root Mean Squared Error)

import numpy as np
from sklearn.metrics import mean_squared_error 

MSE_train = mean_squared_error(y_train, pred_train)
MSE_test = mean_squared_error(y_test, pred_test)

print("훈련   데이터 RMSE:", np.sqrt(MSE_train))
print("테스트 데이터 RMSE:", np.sqrt(MSE_test))

오차 역시 앞선 모델들보다 다소 작게 나타난다.