데이터 분석/빅데이터 분석 기사

[빅분기 실기] 로지스틱 회귀 모델

eunki 2022. 6. 16. 18:17
728x90

로지스틱 회귀 모델

- 종속 변수가 범주형 자료일 경우 적용하는 회귀 모델

- 원자료를 확률 → 오즈(odds) → 로그(log)로 변환하여 선형 회귀 모델을 적용하고,

  다시 지수(exp)로 변환하여 원데이터로 전환한 모델

 

 

 

[주요 하이퍼파라미터]

- C : 로그스케일 단위로 최적치 탐색 권고 (default = 1)

        작을수록 모델이 단순해지고 커질수록 모델이 복잡해짐

- solver : 데이터 양이 많을 때 풀배치(full-batch)로 할 경우 시간이 오래 걸림

               solver='sag' 로 할 경우 평균경사하강법을 적용하여 속도가 빠름

 

 

 

 

 

1. 분석 데이터 준비

import warnings

warnings.filterwarnings("ignore")

분석 결과 외에 불필요한 내용이 나오지 않도록 하는 옵션

 

 

 

1-1. 데이터를 특성(X)과 레이블(y)로 나누기

import pandas as pd

# 암 예측 분류 데이터
data=pd.read_csv('breast-cancer-wisconsin.csv', encoding='utf-8')

X=data[data.columns[1:10]]
y=data[["Class"]]

 

 

 

1-2. train-test 데이터셋 나누기

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test=train_test_split(X, y, stratify=y, random_state=42)

기본 7:3 비율로 train 데이터셋과 test 데이터셋으로 분리한다.

stratify=y : y 범주의 비율에 따라 분리한다.

 

 

 

1-3. Min-Max 정규화

from sklearn.preprocessing import MinMaxScaler

scaler=MinMaxScaler()
scaler.fit(X_train) 

X_scaled_train=scaler.transform(X_train)
X_scaled_test=scaler.transform(X_test)

MinMaxScaler 를 사용하여 최소 0, 최대 1이 되도록 정규화한다.

X_train의 최솟값/최댓값을 기준으로 훈련(fit)하고, X_train 과 X_test 데이터셋을 변환(transform)한다.

 

 

 

 

 

2. 기본모델 적용

 

2-1. 훈련 데이터

from sklearn.linear_model import LogisticRegression

model=LogisticRegression()
model.fit(X_scaled_train, y_train)

pred_train=model.predict(X_scaled_train)
model.score(X_scaled_train, y_train)  # 0.97265625

LogisticRegression 을 불러와서 model 로 설정하고 훈련데이터에 fit 한다.

예측치를 pred_train 에 저장하고 model.score 로 정확도를 확인한다.

 

 

 

① 오차행렬 (confusion matrix)

from sklearn.metrics import confusion_matrix

confusion_train=confusion_matrix(y_train, pred_train)
print("훈련데이터 오차행렬:\n", confusion_train)

정상(0) 중 5명이 오분류, 환자(1) 중 9명이 오분류되었다.

 

 

 

② 분류예측 레포트 (classification report)

from sklearn.metrics import classification_report

cfreport_train=classification_report(y_train, pred_train)
print("분류예측 레포트:\n", cfreport_train)

정밀도(precision) = 0.97, 재현율(recall) = 0.98

 

 

 

2-2. 테스트 데이터

pred_test=model.predict(X_scaled_test)
model.score(X_scaled_test, y_test)  # 0.9590643274853801

 

 

 

① 오차행렬 (confusion matrix)

confusion_test=confusion_matrix(y_test, pred_test)
print("테스트데이터 오차행렬:\n", confusion_test)

정상(0) 중 5명이 오분류, 환자(1) 중 2명이 오분류되었다.

 

 

 

② 분류예측 레포트 (classification report)

cfreport_test=classification_report(y_test, pred_test)
print("분류예측 레포트:\n", cfreport_test)

정밀도(precision) = 0.98, 재현율(recall) = 0.95

 

 

 

 

3. 하이퍼파라미터 튜닝

 

3-1. Grid Search

param_grid={'C': [0.001, 0.01, 0.1, 1, 10, 100]}

C 값을 6개로 설정하고 그리드 탐색을 진행한다.

 

 

 

from sklearn.model_selection import GridSearchCV

grid_search=GridSearchCV(LogisticRegression(), param_grid, cv=5)
grid_search.fit(X_scaled_train, y_train)

 

 

 

print("Best Parameter: {}".format(grid_search.best_params_))
print("Best Score: {:.4f}".format(grid_search.best_score_))
print("TestSet Score: {:.4f}".format(grid_search.score(X_scaled_test, y_test)))

최적의 C는 10으로, 이때 훈련 데이터의 정확도는 97.3%, 테스트 데이터의 정확도는 95.9% 이다.

 

 

 

3-2. Random Search

from scipy.stats import randint

param_distribs={'C': randint(low=0.001, high=100)}

랜덤 탐색을 위해 C를 0.001 ~ 100 사이의 범위에서 100번(n_iter) 무작위 추출하는 방식을 적용한다.

 

 

 

from sklearn.model_selection import RandomizedSearchCV

random_search=RandomizedSearchCV(LogisticRegression(), 
                                 param_distributions=param_distribs, n_iter=100, cv=5)
random_search.fit(X_scaled_train, y_train)

 

 

 

print("Best Parameter: {}".format(random_search.best_params_))
print("Best Score: {:.4f}".format(random_search.best_score_))
print("TestSet Score: {:.4f}".format(random_search.score(X_scaled_test, y_test)))

최적의 C는 11로, 이때 훈련 데이터의 정확도는 97.5%, 테스트 데이터의 정확도는 95.9% 이다.

728x90