[Sklearn] 오차 (Error)

오차 (Error)

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
cancer = load_breast_cancer()

data = cancer['data']
target = cancer['target'] (0-악성종양, 1-양성종양)
feature_names=cancer['feature_names']

df = pd.DataFrame(data=data, columns=feature_names)
df['target'] = cancer['target']

pos = df.loc[df['target']==1]
neg = df.loc[df['target']==0]

 

 

양성 환자 357개 + 악성 환자 5개 샘플 만들기

sample = pd.concat([pos, neg[:5]], sort=True)

x_train, x_test, y_train, y_test = train_test_split(sample.drop('target', 1), sample['target'], random_state=42)

model = LogisticRegression()
model.fit(x_train, y_train)
pred = model.predict(x_test)
(pred == y_test).mean()  # 0.978021978021978

 

 

돌팔이 의사가 모든 환자를 양성 환자로 판별

my_prediction = np.ones(shape=y_test.shape)
(my_prediction == y_test).mean()  # 0.989010989010989

→ 정확도만 놓고 본다면 무조건 양성 환자로 예측하는 분류기가 성능이 좋다.

 

 

 

오차 행렬 (confusion matrix)

from sklearn.metrics import confusion_matrix
confusion_matrix(y_test, pred) array([[ 1, 0], [ 2, 88]])

 

 

 

 

정밀도 (precision)

TP / (TP + FP)

양성 예측 정확도: precision_score()

from sklearn.metrics import precision_score
precision_score(y_test, pred)  # 1.0

→ 무조건 양성으로 판단하면 좋은 정밀도를 얻기 때문에 유용하지 않다.

 

 

 

재현율 (recall)

민감도 (sensitivity) 혹은 True Positive Rate(TPR)라고도 불린다.

TP / (TP + FN)

정확하게 감지한 양성 샘플의 비율: recall_score()

from sklearn.metrics import recall_score
recall_score(y_test, pred)  # 0.9777777777777777

 

 

 

f1 score

정밀도와 재현율의 조화 평균을 나타내는 지표다.

from sklearn.metrics import f1_score
f1_score(y_test, pred)  # 0.9887640449438202