【Python実践】機械学習による分類モデルの予測精度を定量的に評価する [Accuracy,Precision,Recall,F1,ROC]（コピペで使えるサンプルコード付き）

from sklearn.metrics import accuracy_score

# 精度の計算（y_test：テストデータ, y_pred：予測データ）
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy}")

from sklearn.metrics import confusion_matrix

# 混同行列（y_test：テストデータ, y_pred：予測データ）
cm = confusion_matrix(y_test, y_pred))

# 混同行列を表示する
print(cm)

# 混同行列を可視化する
plt.figure(figsize=(10, 7))
sns.heatmap(cm, annot=True, fmt='d', cmap='Blues')
plt.xlabel('予測したラベル')
plt.ylabel('実際のラベル')
plt.title('混同行列')
plt.show()

from sklearn.metrics import classification_report

# classification_report を使って評価結果を取得
report = classification_report(y_test, y_pred, output_dict=True)

# 各クラスごとにPrecisionとRecallを取得
for class_label in report:
    if class_label.isdigit():  # クラスが整数である場合
        precision = report[class_label]['precision']
        recall = report[class_label]['recall']
        print(f"Class {class_label} - Precision: {precision}, Recall: {recall}")

from sklearn.metrics import classification_report

# classification_report を使って評価結果を取得
report = classification_report(y_test, y_pred, output_dict=True)

# クラスごとにF1スコアを表示
for class_label in report:
    if class_label.isdigit():  # クラスが整数である場合
        f1_score = report[class_label]['f1-score']
        print(f"Class {class_label}: F1-score = {f1_score}")

import matplotlib.pyplot as plt
from sklearn.metrics import roc_curve, auc

# ROC曲線の計算
fpr, tpr, thresholds = roc_curve(y_test, y_prob)
roc_auc = auc(fpr, tpr)  # AUCの計算

# ROC曲線のプロット
plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, color='blue', lw=2, label=f'ROC curve (AUC = {roc_auc:.2f})')
plt.plot([0, 1], [0, 1], color='gray', linestyle='--')  # ランダム予測線
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic (ROC) Curve')
plt.legend(loc="lower right")
plt.show()

import matplotlib.pyplot as plt
from sklearn.metrics import roc_curve, auc, accuracy_score, classification_report, confusion_matrix
from sklearn.model_selection import train_test_split
from sklearn.datasets import make_classification
from sklearn.ensemble import RandomForestClassifier
import matplotlib

# 日本語フォントの設定
matplotlib.rcParams['font.family'] = 'Meiryo'  # メイリオを指定

# サンプルデータの作成（バイナリ分類）
X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42)

# データをトレーニングセットとテストセットに分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# ランダムフォレストモデルの訓練
model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X_train, y_train)

# 予測
y_pred = model.predict(X_test)
y_prob = model.predict_proba(X_test)[:, 1]  # 陽性クラスの確率

# 精度の計算
accuracy = accuracy_score(y_test, y_pred)
print(f"正確度 (Accuracy): {accuracy * 100:.2f}%")

# 分類レポート
report = classification_report(y_test, y_pred, output_dict=True)
for class_label in report:
    if class_label.isdigit():  # クラスが整数である場合
        precision = report[class_label]['precision']
        recall = report[class_label]['recall']
        f1_score = report[class_label]['f1-score']
        print(f"クラス {class_label} - 適合率 (Precision): {precision}, 再現率 (Recall): {recall}, F1スコア: {f1_score}")

# 混同行列
print("混同行列:\n", confusion_matrix(y_test, y_pred))

# ROC曲線の計算
fpr, tpr, thresholds = roc_curve(y_test, y_prob)
roc_auc = auc(fpr, tpr)  # AUCの計算

# ROC曲線のプロット
plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, color='blue', lw=2, label=f'ROC曲線 (AUC = {roc_auc:.2f})')
plt.plot([0, 1], [0, 1], color='gray', linestyle='--', label='ランダム予測ライン')  # ランダム予測線
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('偽陽性率 (False Positive Rate)')
plt.ylabel('真陽性率 (True Positive Rate)')
plt.title('ROC曲線 (受信者動作特性曲線)')
plt.legend(loc="lower right")
plt.grid()
plt.show()

# サンプルデータの作成（バイナリ分類）
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier

# データの作成と分割
X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# ランダムフォレストモデルの訓練
model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X_train, y_train)

# 予測
y_pred = model.predict(X_test)

# 陽性クラスの確率を取得（0列目：クラス0の確率、1列目：クラス1の確率が格納されている）
y_prob = model.predict_proba(X_test)[:, 1]

# 精度評価指標の表示
evaluate_classification_metrics(y_test, y_pred)

# ROC曲線の描画
plot_roc_curve(y_test, y_prob)

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

# サンプルデータの生成（4種類に分類可能な100次元のデータを200個生成）
X, y = make_classification(n_samples=200, n_features=100, n_informative=4, n_redundant=0, n_clusters_per_class=1, n_classes=4, random_state=42)

# データを訓練用とテスト用に分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# ランダムフォレストの使用
rf = RandomForestClassifier(n_estimators=100, random_state=42)

# モデルの訓練
rf.fit(X_train, y_train)

# テストデータで予測
y_pred_rf = rf.predict(X_test)
y_score_rf = rf.predict_proba(X_test)

plot_roc_curve_multi(y_test, y_score_rf, classes=[0, 1, 2, 3])

import matplotlib.pyplot as plt
from sklearn.metrics import roc_curve, auc, accuracy_score, classification_report, confusion_matrix
import numpy as np
import matplotlib

# 日本語フォントの設定
matplotlib.rcParams['font.family'] = 'Meiryo'

# 各クラスごとの精度評価指標（Precision, Recall, F1-score）と混同行列を出力する関数
def evaluate_classification_metrics(y_true, y_pred):
    """
    モデルの予測結果に基づいて、精度評価指標（Accuracy、Precision、Recall、F1-score）と
    混同行列を表示する関数。

    Parameters:
    y_true (array-like): 実際のクラスラベル（テストデータの正解）
    y_pred (array-like): モデルの予測結果（予測されたクラスラベル）

    Returns:
    None: 結果は標準出力に表示される
    """
    # 精度の計算（Accuracy）
    accuracy = accuracy_score(y_true, y_pred)
    print(f"正確度 (Accuracy): {accuracy * 100:.2f}%")  # 精度をパーセンテージで表示

    # クラスごとのPrecision、Recall、F1-scoreを計算し、表示
    report = classification_report(y_true, y_pred, output_dict=True)
    for class_label in report:
        if class_label.isdigit():  # クラスラベルが整数である場合のみ処理
            precision = report[class_label]['precision']
            recall = report[class_label]['recall']
            f1 = report[class_label]['f1-score']
            print(f"クラス {class_label} - 適合率 (Precision): {precision:.2f}, 再現率 (Recall): {recall:.2f}, F1スコア: {f1:.2f}")

    # 混同行列の表示
    cm = confusion_matrix(y_true, y_pred)
    print("混同行列:")
    print(cm)
    
    return cm

import matplotlib.pyplot as plt
from sklearn.metrics import roc_curve, auc
import numpy as np
import matplotlib

# 日本語フォントの設定
matplotlib.rcParams['font.family'] = 'Meiryo'

# ROC曲線を描画してファイルに保存する関数
def plot_roc_curve(y_true, y_prob, filename=None, pos_label=1):
    """
    ROC曲線を描画し、AUC（Area Under Curve）を表示する関数。
    引数にファイル名を指定した場合、グラフをそのファイルに保存します。
    
    Parameters:
    y_true (array-like): 実際のクラスラベル（テストデータの正解）
    y_prob (array-like): モデルの予測確率（陽性クラスの予測確率）
    filename (str, optional): 保存するファイルのパス。指定しない場合、グラフは表示されるのみです。
    pos_label (int): 陽性（ポジティブ）クラスとして扱いたいラベル（初期値は1）
    Returns:
    None: グラフは表示またはファイルに保存される
    """
    # ROC曲線を計算
    fpr, tpr, thresholds = roc_curve(y_true, y_prob, pos_label=pos_label)
    roc_auc = auc(fpr, tpr)  # AUCの計算

    # ROC曲線をプロット
    plt.figure(figsize=(8, 6))
    plt.plot(fpr, tpr, color='blue', lw=2, label=f'ROC曲線 (AUC = {roc_auc:.2f})')
    plt.plot([0, 1], [0, 1], color='gray', linestyle='--', label='ランダム予測線')  # ランダム予測線（y = xの線）
    plt.xlim([0.0, 1.0])  # x軸の範囲（偽陽性率）
    plt.ylim([0.0, 1.05])  # y軸の範囲（真陽性率）
    plt.xlabel('偽陽性率 (False Positive Rate)')  # x軸ラベル
    plt.ylabel('真陽性率 (True Positive Rate)')  # y軸ラベル
    plt.title('ROC曲線 (受信者動作特性曲線)')  # グラフタイトル
    plt.legend(loc="lower right")  # 凡例
    plt.grid()  # グリッド表示

    # ファイル名が指定されている場合は保存、それ以外は表示
    if filename:
        plt.savefig(filename)
        print(f"ROC曲線が '{filename}' に保存されました。")
    else:
        plt.show()  # グラフを表示

import matplotlib.pyplot as plt
from sklearn.metrics import roc_curve, auc
import numpy as np
import matplotlib
# 日本語フォントの設定
matplotlib.rcParams['font.family'] = 'Meiryo'
from sklearn.preprocessing import label_binarize

# ROC曲線（多値）をプロットする関数
def plot_roc_curve_multi(y_true, y_score, classes, filename=None):
    """
    多クラス分類のROC曲線をプロットする関数。
    
    Parameters:
    y_true (array-like): 実際のクラスラベル（テストデータの正解）
    y_score (array-like): モデルの予測確率
    classes (list): 分類クラスのリスト
    filename (str, optional): 保存するファイルのパス。指定しない場合、グラフは表示されるのみ
    
    Returns:
    None: グラフは表示またはファイルに保存される
    """
    # ラベルをバイナリ形式に変換
    y_true_bin = label_binarize(y_true, classes=classes)
    n_classes = y_true_bin.shape[1]

    # ROC曲線の計算
    fpr = dict()
    tpr = dict()
    roc_auc = dict()
    for i in range(n_classes):
        fpr[i], tpr[i], _ = roc_curve(y_true_bin[:, i], y_score[:, i])
        roc_auc[i] = auc(fpr[i], tpr[i])

    # マイクロ平均とマクロ平均のROC曲線を計算
    fpr["micro"], tpr["micro"], _ = roc_curve(y_true_bin.ravel(), y_score.ravel())
    roc_auc["micro"] = auc(fpr["micro"], tpr["micro"])

    # マクロ平均のROC曲線を計算
    all_fpr = np.unique(np.concatenate([fpr[i] for i in range(n_classes)]))
    mean_tpr = np.zeros_like(all_fpr)
    for i in range(n_classes):
        mean_tpr += np.interp(all_fpr, fpr[i], tpr[i])
    mean_tpr /= n_classes
    fpr["macro"] = all_fpr
    tpr["macro"] = mean_tpr
    roc_auc["macro"] = auc(fpr["macro"], tpr["macro"])

    # ROC曲線をプロット
    plt.figure(figsize=(8, 6))
    plt.plot(fpr["micro"], tpr["micro"], color='deeppink', linestyle=':', linewidth=4, label=f'マイクロ平均 ROC曲線 (AUC = {roc_auc["micro"]:.2f})')
    plt.plot(fpr["macro"], tpr["macro"], color='navy', linestyle=':', linewidth=4, label=f'マクロ平均 ROC曲線 (AUC = {roc_auc["macro"]:.2f})')

    colors = ['aqua', 'darkorange', 'cornflowerblue', 'darkgreen']
    for i, color in zip(range(n_classes), colors):
        plt.plot(fpr[i], tpr[i], color=color, lw=2, label=f'ROC曲線 of クラス {i} (AUC = {roc_auc[i]:.2f})')

    plt.plot([0, 1], [0, 1], 'k--')
    plt.xlim([0.0, 1.0])
    plt.ylim([0.0, 1.05])
    plt.xlabel('偽陽性率 (False Positive Rate)')
    plt.ylabel('真陽性率 (True Positive Rate)')
    plt.title('ROC曲線 (多クラス分類)')
    plt.legend(loc="lower right")
    plt.grid()
    if filename:
        plt.savefig(filename)
        print(f"ROC曲線が '{filename}' に保存されました。")
    else:
        plt.show()