[빅분기 실기] 서포트 벡터머신 (SVM)

서포트 벡터머신 (Support Vector Machine)

데이터 크기가 중간크기 이하로 여러 변수를 기준으로 분류하는 다소 복잡한 과제에 적합한 기법
레이블 범주를 선형/비선형적으로 분류하는 선/초평면을 찾는 것이 핵심 과제

마진 (margin) : 점들이 포함되지 않은 영역을 최대화하여 클래스를 분리할 수 있도록 하는 것
서포트 벡터 (support vector) : 결정 경계선에 가장 가까이 있는 각 클래스의 점
소프트 마진 (soft margin) : 잘못 분류된 데이터를 본래 속하는 카테고리로 비용을 들어 이동시킴

 

 

[주요 하이퍼파라미터]

1. 분류
- C : 작을수록 모델이 단순해지고, 커질수록 모델이 복잡해짐 (default = 1)
- kernel : 커널 함수 ex) linear, poly, sigmoid, precomputed (default = rbf)


2. 회귀
- kernel : 커널 함수 ex) linear, poly, sigmoid, precomputed (default = rbf)

 

 

 

 

---

 

 

Part 1. 분류 (Classification)

 

1. 분석 데이터 준비

import pandas as pd

# 유방암 예측 분류 데이터
data1=pd.read_csv('breast-cancer-wisconsin.csv', encoding='utf-8')

X=data1[data1.columns[1:10]]
y=data1[["Class"]]

 

 

 

1-2. train-test 데이터셋 나누기

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test=train_test_split(X, y, stratify=y, random_state=42)

 

 

 

1-3. Min-Max 정규화

from sklearn.preprocessing import MinMaxScaler

scaler=MinMaxScaler()
scaler.fit(X_train) 

X_scaled_train=scaler.transform(X_train)
X_scaled_test=scaler.transform(X_test)

 

 

 

 

2. 기본모델 적용

 

2-1. 훈련 데이터

from sklearn.svm import SVC

model=SVC()
model.fit(X_scaled_train, y_train)

pred_train=model.predict(X_scaled_train)
model.score(X_scaled_train, y_train)  # 0.984375

 

 

 

① 오차행렬 (confusion matrix)

from sklearn.metrics import confusion_matrix

confusion_train=confusion_matrix(y_train, pred_train)
print("훈련데이터 오차행렬:\n", confusion_train)

정상(0) 중 4명이 오분류, 환자(1) 중 4명이 오분류되었다.

 

 

 

② 분류예측 레포트 (classification report)

from sklearn.metrics import classification_report

cfreport_train=classification_report(y_train, pred_train)
print("분류예측 레포트:\n", cfreport_train)

정밀도(precision) = 0.98, 재현율(recall) = 0.98

 

 

 

2-2. 테스트 데이터

pred_test=model.predict(X_scaled_test)
model.score(X_scaled_test, y_test)  # 0.9649122807017544

 

 

 

① 오차행렬 (confusion matrix)

confusion_test=confusion_matrix(y_test, pred_test)
print("테스트데이터 오차행렬:\n", confusion_test)

정상(0) 중 5명이 오분류, 환자(1) 중 1명이 오분류되었다.

 

 

 

② 분류예측 레포트 (classification report)

cfreport_test=classification_report(y_test, pred_test)
print("분류예측 레포트:\n", cfreport_test)

정밀도(precision) = 0.96, 재현율(recall) = 0.97

 

 

 

 

3. 하이퍼파라미터 튜닝

 

3-1. Grid Search

param_grid=[{'kernel': ['rbf'], 'C': [0.001, 0.01, 0.1, 1, 10, 100], 
             'gamma': [0.001, 0.01, 0.1, 1, 10, 100]}, 
            {'kernel': ['linear'], 'C': [0.001, 0.01, 0.1, 1, 10, 100], 
             'gamma': [0.001, 0.01, 0.1, 1, 10, 100]}]

kernel 값을 rbf와 linear로 하면서 C와 gamma 값을 각각 6가지로 조합하여 그리드 탐색을 진행한다.

 

 

 

from sklearn.model_selection import GridSearchCV

grid_search=GridSearchCV(SVC(), param_grid, cv=5)
grid_search.fit(X_scaled_train, y_train)

 

 

 

print("Best Parameter: {}".format(grid_search.best_params_))
print("Best Score: {:.4f}".format(grid_search.best_score_))
print("TestSet Score: {:.4f}".format(grid_search.score(X_scaled_test, y_test)))

최적의 C는 100, gamma는 0.01, kernel은 rbf로, 

이때 훈련 데이터의 정확도는 97.5%, 테스트 데이터의 정확도는 95.9% 이다.

 

 

 

3-2. Random Search

from scipy.stats import randint

param_distribs={'kernel': ['rbf'], 'C': randint(low=0.001, high=100), 
                'gamma': randint(low=0.001, high=100)}

랜덤 탐색을 위해 C와 gamma를 0.001~100사이의 범위에서 100번(n_iter) 무작위 추출하는 방식을 적용한다.

 

 

 

from sklearn.model_selection import RandomizedSearchCV

random_search=RandomizedSearchCV(SVC(), 
                                 param_distributions=param_distribs, n_iter=100, cv=5)
random_search.fit(X_scaled_train, y_train)

 

 

 

print("Best Parameter: {}".format(random_search.best_params_))
print("Best Score: {:.4f}".format(random_search.best_score_))
print("TestSet Score: {:.4f}".format(random_search.score(X_scaled_test, y_test)))

최적의 C는 65, gamma는 5로, 이때 훈련 데이터의 정확도는 96.5%, 테스트 데이터의 정확도는 96.5% 이다.

 

 

 

 

---

 

 

Part 2. 회귀 (Regression)

 

1. 분석 데이터 준비

# 주택 가격 데이터
data2=pd.read_csv('house_price.csv', encoding='utf-8')

X=data2[data2.columns[1:5]]
y=data2[["house_value"]]

 

 

 

1-2. train-test 데이터셋 나누기

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test=train_test_split(X, y, random_state=42)

 

 

 

1-3. Min-Max 정규화

from sklearn.preprocessing import MinMaxScaler

scaler=MinMaxScaler()
scaler.fit(X_train)

X_scaled_train=scaler.transform(X_train)
X_scaled_test=scaler.transform(X_test)

 

 

 

 

2. 기본모델 적용

 

2-1. 훈련 데이터

from sklearn.svm import SVR

model=SVR(kernel='poly')
model.fit(X_scaled_train, y_train)

pred_train=model.predict(X_scaled_train)
model.score(X_scaled_train, y_train)  # 0.4517702565282381

하이퍼파라미터 중 kernel은 poly만이 본 데이터에서 정확도가 상식적인 수준으로 나타난다.

 

 

 

2-2. 테스트 데이터

pred_test=model.predict(X_scaled_test)
model.score(X_scaled_test, y_test)  # 0.4699770809619134

 

 

 

① RMSE (Root Mean Squared Error)

import numpy as np
from sklearn.metrics import mean_squared_error 

MSE_train = mean_squared_error(y_train, pred_train)
MSE_test = mean_squared_error(y_test, pred_test)

print("훈련   데이터 RMSE:", np.sqrt(MSE_train))
print("테스트 데이터 RMSE:", np.sqrt(MSE_test))

 

 

 

 

3. 하이퍼파라미터 튜닝

 

3-1. Grid Search

param_grid={'kernel': ['poly'], 'C': [0.01, 0.1, 1, 10], 
             'gamma': [0.01, 0.1, 1, 10]}

C, gamma 값을 다양하게 설정하고 그리드 탐색을 진행한다.

 

 

 

from sklearn.model_selection import GridSearchCV

grid_search=GridSearchCV(SVR(kernel='poly'), param_grid, cv=5)
grid_search.fit(X_scaled_train, y_train)

 

 

 

print("Best Parameter: {}".format(grid_search.best_params_))
print("Best Score: {:.4f}".format(grid_search.best_score_))
print("TestSet Score: {:.4f}".format(grid_search.score(X_scaled_test, y_test)))

최적의 C는 10, gamma는 10으로, 이때 훈련 데이터의 정확도는 48.9%, 테스트 데이터의 정확도는 50.9% 이다.

다른 모델에 비해서 정확도가 떨어진다.

 

 

 

3-2. Random Search

from scipy.stats import randint

param_distribs={'kernel': ['poly'], 'C': randint(low=0.01, high=10), 
                'gamma': randint(low=0.01, high=10)}

랜덤 탐색을 위해 C, gamma 를 0.01. ~ 10 사이의 범위에서 20번(n_iter) 무작위 추출하는 방식을 적용한다.

 

 

 

from sklearn.model_selection import RandomizedSearchCV

random_search=RandomizedSearchCV(SVR(kernel='poly'), 
                                 param_distributions=param_distribs, n_iter=20, cv=5)
random_search.fit(X_scaled_train, y_train)

 

 

 

print("Best Parameter: {}".format(random_search.best_params_))
print("Best Score: {:.4f}".format(random_search.best_score_))
print("TestSet Score: {:.4f}".format(random_search.score(X_scaled_test, y_test)))

최적의 C는 7, gamma는 9로, 이때 훈련 데이터의 정확도는 46.9%, 테스트 데이터의 정확도는 49.2% 이다.

역시 좋은 성능 결과가 나오지 않는다.