[빅분기 실기] 릿지 (Ridge)

릿지 (Ridge)

선형회귀분석의 기본 원리를 따르나, 가중치(회귀계수) 값을 최대한 작게 만들어 
모든 독립변수가 종속변수에 미치는 영향을 최소화하는 제약을 반영한 회귀모델

각 특성의 영향을 최소화하여 훈련 데이터에 과대적합되지 않도록 제약한 모델이다.미

선형 관계뿐만 아니라 다항 곡선 추정도 가능하다.

 

 

[주요 하이퍼파라미터]

- alpha : 값이 클수록 규제가 강하여 회귀 계수가 0에 근접하다. (default = 1)
              값이 0에 가까울수록 규제를 하지 않아 선형 회귀와 유사한 결과를 보인다.

 

 

 

 

---

 

 

1. 분석 데이터 준비

# 주택 가격 데이터
data2=pd.read_csv('house_price.csv', encoding='utf-8')

X=data2[data2.columns[1:5]]
y=data2[["house_value"]]

 

 

 

1-2. train-test 데이터셋 나누기

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test=train_test_split(X, y, random_state=42)

 

 

 

1-3. Min-Max 정규화

from sklearn.preprocessing import MinMaxScaler

scaler=MinMaxScaler()
scaler.fit(X_train)

X_scaled_train=scaler.transform(X_train)
X_scaled_test=scaler.transform(X_test)

 

 

 

 

2. 기본모델 적용

 

2-1. 훈련 데이터

from sklearn.linear_model import Ridge

model=Ridge()
model.fit(X_scaled_train, y_train)

pred_train=model.predict(X_scaled_train)
model.score(X_scaled_train, y_train)  # 0.5455487773718164

 

 

 

2-2. 테스트 데이터

pred_test=model.predict(X_scaled_test)
model.score(X_scaled_test, y_test)  # 0.5626954941458684

 

 

 

① RMSE (Root Mean Squared Error)

import numpy as np
from sklearn.metrics import mean_squared_error 

MSE_train = mean_squared_error(y_train, pred_train)
MSE_test = mean_squared_error(y_test, pred_test)

print("훈련   데이터 RMSE:", np.sqrt(MSE_train))
print("테스트 데이터 RMSE:", np.sqrt(MSE_test))

 

 

 

 

3. 하이퍼파라미터 튜닝

 

3-1. Grid Search

param_grid={'alpha': [1e-4, 1e-3, 1e-2, 0.1, 0.5, 1.0, 5.0, 10.0]}

alpha 값을 11가지로 설정하고 그리드 탐색을 진행한다.

 

 

 

from sklearn.model_selection import GridSearchCV

grid_search=GridSearchCV(Ridge(), param_grid, cv=5)
grid_search.fit(X_scaled_train, y_train)

 

 

 

print("Best Parameter: {}".format(grid_search.best_params_))
print("Best Score: {:.4f}".format(grid_search.best_score_))
print("TestSet Score: {:.4f}".format(grid_search.score(X_scaled_test, y_test)))

최적의 alpha는 0.1로, 이때 훈련 데이터의 정확도는 54.5%, 테스트 데이터의 정확도는 56.3% 이다.

 

 

 

3-2. Random Search

from scipy.stats import randint

param_distribs = {'alpha': randint(low=0.0001, high=100)}

랜덤 탐색을 위해 alpha를 0.0001 ~ 100 사이의 범위에서 100번(n_iter) 무작위 추출하는 방식을 적용한다.

 

 

 

from sklearn.model_selection import RandomizedSearchCV

random_search=RandomizedSearchCV(Ridge(), 
                                 param_distributions=param_distribs, n_iter=100, cv=5)
random_search.fit(X_scaled_train, y_train)

 

 

 

print("Best Parameter: {}".format(random_search.best_params_))
print("Best Score: {:.4f}".format(random_search.best_score_))
print("TestSet Score: {:.4f}".format(random_search.score(X_scaled_test, y_test)))

최적의 alpha는 0.1로, 이때 훈련 데이터의 정확도는 54.5%, 테스트 데이터의 정확도는 56.3% 이다.