[빅분기 실기] 나이브 베이즈 (Naive Bayes)
나이브 베이즈 (Naive Bayes)
사건 B가 주어졌을 때 사건 A가 일어날 확률인 P(A|B) 조건부 확률과 베이즈 정리를 이용한 알고리즘
나이브는 예측에 사용되는 특성치(X)가 상호 독립적이라는 가정하에 확률 계산을 단순화
즉, 모든 특성치들이 레이블을 분류/예측하는 데에 동등한 역할을 한다.
베이즈는 특성치(X)가 클래스 전체의 확률 분포에 대비하여 특정 클래스에 속할 확률을 베이즈 정리를 기반으로 계산
[주요 하이퍼파라미터]
1. 분류
- var_smoothing : 안정적인 연산을 위해 분산에 더해지는 모든 특성치의 최대 분산 비율 (default = 0.000000001)
2. 회귀
- alpha_1 : 감마분포의 alpha 파라미터 사전 설정 (default = 1e-6)
- lambda_1 : 감마분포의 lambda 파라미터 사전 설정 (default = 1e-6)
Part 1. 분류 (Classification)
1. 분석 데이터 준비
import pandas as pd
# 유방암 예측 분류 데이터
data1=pd.read_csv('breast-cancer-wisconsin.csv', encoding='utf-8')
X=data1[data1.columns[1:10]]
y=data1[["Class"]]
1-2. train-test 데이터셋 나누기
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test=train_test_split(X, y, stratify=y, random_state=42)
1-3. Min-Max 정규화
from sklearn.preprocessing import MinMaxScaler
scaler=MinMaxScaler()
scaler.fit(X_train)
X_scaled_train=scaler.transform(X_train)
X_scaled_test=scaler.transform(X_test)
2. 기본모델 적용
가우시안 나이브베이즈 (GaussianNB)
가우스분포, 즉 정규분포상에서 발생확률을 계산한다.
특성치 중 연속형 자료일 경우 발생확률을 정규분포상에서의 확률을 구해서 계산한다.
2-1. 훈련 데이터
from sklearn.naive_bayes import GaussianNB
model=GaussianNB()
model.fit(X_scaled_train, y_train)
pred_train=model.predict(X_scaled_train)
model.score(X_scaled_train, y_train) # 0.966796875
① 오차행렬 (confusion matrix)
from sklearn.metrics import confusion_matrix
confusion_train=confusion_matrix(y_train, pred_train)
print("훈련데이터 오차행렬:\n", confusion_train)
정상(0) 중 14명이 오분류, 환자(1) 중 3명이 오분류되었다.
② 분류예측 레포트 (classification report)
from sklearn.metrics import classification_report
cfreport_train=classification_report(y_train, pred_train)
print("분류예측 레포트:\n", cfreport_train)
정밀도(precision) = 0.96, 재현율(recall) = 0.97
2-2. 테스트 데이터
pred_test=model.predict(X_scaled_test)
model.score(X_scaled_test, y_test) # 0.9590643274853801
① 오차행렬 (confusion matrix)
confusion_test=confusion_matrix(y_test, pred_test)
print("테스트데이터 오차행렬:\n", confusion_test)
정상(0) 중 5명이 오분류, 환자(1) 중 2명이 오분류되었다.
② 분류예측 레포트 (classification report)
cfreport_test=classification_report(y_test, pred_test)
print("분류예측 레포트:\n", cfreport_test)
정밀도(precision) = 0.95, 재현율(recall) = 0.96
3. 하이퍼파라미터 튜닝
3-1. Grid Search
param_grid={'var_smoothing': [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10]}var_smoothing 값을 11개로 설정하고 그리드 탐색을 진행한다.
from sklearn.model_selection import GridSearchCV
grid_search=GridSearchCV(GaussianNB(), param_grid, cv=5)
grid_search.fit(X_scaled_train, y_train)
print("Best Parameter: {}".format(grid_search.best_params_))
print("Best Score: {:.4f}".format(grid_search.best_score_))
print("TestSet Score: {:.4f}".format(grid_search.score(X_scaled_test, y_test)))
최적의 var_smoothing는 0으로, 이때 훈련 데이터의 정확도는 96.5%, 테스트 데이터의 정확도는 95.9% 이다.
3-2. Random Search
from scipy.stats import randint
param_distribs = {'var_smoothing': randint(low=0, high=20)}랜덤 탐색을 위해 var_smoothing를 1~20 사이의 범위에서 100번(n_iter) 무작위 추출하는 방식을 적용한다.
from sklearn.model_selection import RandomizedSearchCV
random_search=RandomizedSearchCV(GaussianNB(),
param_distributions=param_distribs, n_iter=100, cv=5)
random_search.fit(X_scaled_train, y_train)
print("Best Parameter: {}".format(random_search.best_params_))
print("Best Score: {:.4f}".format(random_search.best_score_))
print("TestSet Score: {:.4f}".format(random_search.score(X_scaled_test, y_test)))
최적의 var_smoothing는 0으로, 이때 훈련 데이터의 정확도는 96.5%, 테스트 데이터의 정확도는 95.9% 이다.
Part 2. 회귀 (Regression)
1. 분석 데이터 준비
# 주택 가격 데이터
data2=pd.read_csv('house_price.csv', encoding='utf-8')
X=data2[data2.columns[1:5]]
y=data2[["house_value"]]
1-2. train-test 데이터셋 나누기
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test=train_test_split(X, y, random_state=42)
1-3. Min-Max 정규화
from sklearn.preprocessing import MinMaxScaler
scaler=MinMaxScaler()
scaler.fit(X_train)
X_scaled_train=scaler.transform(X_train)
X_scaled_test=scaler.transform(X_test)
2. 기본모델 적용
2-1. 훈련 데이터
from sklearn.linear_model import BayesianRidge
model=BayesianRidge()
model.fit(X_scaled_train, y_train)
pred_train=model.predict(X_scaled_train)
model.score(X_scaled_train, y_train) # 0.5455724466331763
2-2. 테스트 데이터
pred_test=model.predict(X_scaled_test)
model.score(X_scaled_test, y_test) # 0.5626859871488646
① RMSE (Root Mean Squared Error)
import numpy as np
from sklearn.metrics import mean_squared_error
MSE_train = mean_squared_error(y_train, pred_train)
MSE_test = mean_squared_error(y_test, pred_test)
print("훈련 데이터 RMSE:", np.sqrt(MSE_train))
print("테스트 데이터 RMSE:", np.sqrt(MSE_test))
3. 하이퍼파라미터 튜닝
3-1. Grid Search
param_grid={'alpha_1': [1e-06, 1e-05, 1e-04, 1e-03, 1e-02, 1e-01, 1, 2, 3, 4],
'lambda_1': [1e-06, 1e-05, 1e-04, 1e-03, 1e-02, 1e-01, 1, 2, 3, 4]}alpha_1, lambda_1 값을 다양하게 설정하고 그리드 탐색을 진행한다.
from sklearn.model_selection import GridSearchCV
grid_search=GridSearchCV(BayesianRidge(), param_grid, cv=5)
grid_search.fit(X_scaled_train, y_train)
print("Best Parameter: {}".format(grid_search.best_params_))
print("Best Score: {:.4f}".format(grid_search.best_score_))
print("TestSet Score: {:.4f}".format(grid_search.score(X_scaled_test, y_test)))
최적의 alpha_1는 4, lambda_1은 1e-06으로, 이때 훈련 데이터의 정확도는 54.5%, 테스트 데이터의 정확도는 56.3% 이다.
3-2. Random Search
from scipy.stats import randint
param_distribs = {'alpha_1': randint(low=1e-06, high=10),
'lambda_1': randint(low=1e-06, high=10)}랜덤 탐색을 위해 alpha_1, lambda_1 을 1e-06 ~ 10 사이의 범위에서 50번(n_iter) 무작위 추출하는 방식을 적용한다.
from sklearn.model_selection import RandomizedSearchCV
random_search=RandomizedSearchCV(BayesianRidge(),
param_distributions=param_distribs, n_iter=50, cv=5)
random_search.fit(X_scaled_train, y_train)
print("Best Parameter: {}".format(random_search.best_params_))
print("Best Score: {:.4f}".format(random_search.best_score_))
print("TestSet Score: {:.4f}".format(random_search.score(X_scaled_test, y_test)))
최적의 alpha_1는 6, lambda_1은 0으로, 이때 훈련 데이터의 정확도는 54.5%, 테스트 데이터의 정확도는 56.3% 이다.