【Python実践】ハイパーパラメータチューニング（最適化）3選（グリッド、ランダム、ベイズ）と実務で使えるサンプルコード紹介

from sklearn.model_selection import GridSearchCV
import xgboost as xgb
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# Step1.データの準備
data = load_iris()
X, y = data.data, data.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Step2．探索したいハイパーパラメータと探索の範囲を定義
param_grid = {
    'learning_rate': [0.01, 0.1, 0.2],
    'max_depth': [3, 5, 7],
    'n_estimators': [100, 200]
}

# Step3.グリッドサーチの対象となるモデルを作成
model = xgb.XGBClassifier()

# Step4.グリッドサーチの設定（モデル、探索範囲、精度評価のスコアリング、データの分割数、スレッド数を指定）
grid_search = GridSearchCV(estimator=model, param_grid=param_grid, scoring='accuracy', cv=3, n_jobs=-1)

# Step5.グリッドサーチの実行（テストデータを指定して実行）
grid_search.fit(X_train, y_train)

# Step6.最適なハイパーパラメータの取得
best_params = grid_search.best_params_
print(f"Best parameters: {best_params}")

# Step7.最適なハイパーパラメータでのモデル評価
best_model = grid_search.best_estimator_
y_pred = best_model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy * 100:.2f}%")

from sklearn.model_selection import GridSearchCV
import xgboost as xgb
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# Step1.データの準備
data = fetch_california_housing()
X, y = data.data, data.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Step2．探索したいハイパーパラメータと探索の範囲を定義
param_grid = {
    'learning_rate': [0.01, 0.1, 0.2],
    'max_depth': [3, 5, 7],
    'n_estimators': [100, 200]
}

# Step3.グリッドサーチの対象となるモデルを作成
model = xgb.XGBRegressor()

# Step4.グリッドサーチの設定（モデル、探索範囲、精度評価のスコアリング、データの分割数、スレッド数を指定）
grid_search = GridSearchCV(estimator=model, param_grid=param_grid, scoring='neg_mean_squared_error', cv=3, n_jobs=-1)

# Step5.グリッドサーチの実行（テストデータを指定して実行）
grid_search.fit(X_train, y_train)

# Step6.最適なハイパーパラメータの取得
best_params = grid_search.best_params_
print(f"Best parameters: {best_params}")

# Step7.最適なハイパーパラメータでのモデル評価
best_model = grid_search.best_estimator_
y_pred = best_model.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
print(f"Mean Squared Error: {mse:.4f}")

from sklearn.model_selection import RandomizedSearchCV
import xgboost as xgb
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
import numpy as np

# データの準備
data = load_iris()
X, y = data.data, data.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Step2．探索したいハイパーパラメータと探索の範囲を定義
param_dist = {
    'learning_rate': np.linspace(0.01, 0.2, 20),
    'max_depth': np.arange(3, 10),
    'n_estimators': np.arange(50, 300, 50)
}

# Step3.ランダムサーチの対象となるモデルを作成
model = xgb.XGBClassifier()

# Step4.ランダムサーチの設定（モデル、探索範囲、精度評価のスコアリング、データの分割数、スレッド数を指定）
random_search = RandomizedSearchCV(estimator=model, param_distributions=param_dist, n_iter=100, scoring='accuracy', cv=3, n_jobs=-1, random_state=42)

# Step5.ランダムサーチの実行（テストデータを指定して実行）
random_search.fit(X_train, y_train)

# Step6.最適なハイパーパラメータの取得
best_params = random_search.best_params_
print(f"Best parameters: {best_params}")

# Step7.最適なハイパーパラメータでのモデル評価
best_model = random_search.best_estimator_
y_pred = best_model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy * 100:.2f}%")

from sklearn.model_selection import RandomizedSearchCV
import xgboost as xgb
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
import numpy as np

# データの準備
data = fetch_california_housing()
X, y = data.data, data.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Step2．探索したいハイパーパラメータと探索の範囲を定義
param_dist = {
    'learning_rate': np.linspace(0.01, 0.2, 20),
    'max_depth': np.arange(3, 10),
    'n_estimators': np.arange(50, 300, 50)
}

# Step3.ランダムサーチの対象となるモデルを作成
model = xgb.XGBRegressor()

# Step4.ランダムサーチの設定（モデル、探索範囲、精度評価のスコアリング、データの分割数、スレッド数を指定）
random_search = RandomizedSearchCV(estimator=model, param_distributions=param_dist, n_iter=100, scoring='neg_mean_squared_error', cv=3, n_jobs=-1, random_state=42)

# Step5.ランダムサーチの実行（テストデータを指定して実行）
random_search.fit(X_train, y_train)

# Step6.最適なハイパーパラメータの取得
best_params = random_search.best_params_
print(f"Best parameters: {best_params}")

# Step7.最適なハイパーパラメータでのモデル評価
best_model = random_search.best_estimator_
y_pred = best_model.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
print(f"Mean Squared Error: {mse:.4f}")

import optuna
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

# データ作成
X, y = make_classification(n_samples=1000, n_features=20, n_informative=10, n_redundant=10, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 目的関数
def objective(trial):
    # ハイパーパラメータの探索範囲
    param = {
        'n_estimators': trial.suggest_int('n_estimators', 10, 200),
        'max_depth': trial.suggest_int('max_depth', 3, 20),
        'min_samples_split': trial.suggest_int('min_samples_split', 2, 10),
        'min_samples_leaf': trial.suggest_int('min_samples_leaf', 1, 10),
    }
    
    model = RandomForestClassifier(**param)
    score = cross_val_score(model, X_train, y_train, cv=3, scoring='accuracy').mean()
    return score

# 最適化
study = optuna.create_study(direction='maximize')
study.optimize(objective, n_trials=50)

# 最適なパラメータと結果
print("Best parameters:", study.best_params)
print("Best score:", study.best_value)

import optuna
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import cross_val_score
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split

# データ作成
data = fetch_california_housing()
X, y = data.data, data.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 目的関数
def objective(trial):
    # ハイパーパラメータの探索範囲
    param = {
        'n_estimators': trial.suggest_int('n_estimators', 10, 200),
        'max_depth': trial.suggest_int('max_depth', 3, 20),
        'min_samples_split': trial.suggest_int('min_samples_split', 2, 10),
        'min_samples_leaf': trial.suggest_int('min_samples_leaf', 1, 10),
    }
    
    model = RandomForestRegressor(**param)
    score = cross_val_score(model, X_train, y_train, cv=3, scoring='neg_mean_squared_error').mean()
    return score

# 最適化
study = optuna.create_study(direction='maximize')
study.optimize(objective, n_trials=50)

# 最適なパラメータと結果
print("Best parameters:", study.best_params)
print("Best score:", -study.best_value)

# 使用例（分類）
iris_data = load_iris(as_frame=True).frame
feature_columns = iris_data.columns[:-1].tolist() # 特徴量のカラム名のリストを取得
target_column = iris_data.columns[-1] # 目的変数のカラム名を取得
param_dist = {
    'n_estimators': [100, 200, 300],
    'max_depth': [None, 10, 20, 30],
    'min_samples_split': [2, 5, 10],
    'min_samples_leaf': [1, 2, 4],
    'bootstrap': [True, False]
}
model = RandomForestClassifier(random_state=42)

tuner = HyperparameterTuning(model, param_dist, iris_data, feature_columns, target_column)
tuner.grid_search()  # グリッドサーチを実行

import optuna
from sklearn.model_selection import GridSearchCV, RandomizedSearchCV, train_test_split, cross_val_score
from sklearn.metrics import accuracy_score, mean_squared_error

class HyperparameterTuning:
    """
    ハイパーパラメータチューニングを行うクラス。
    渡されたモデルとハイパーパラメータの範囲を用いて、グリッドサーチ、ランダムサーチ、ベイズ最適化を行います。
    
    Attributes:
        model (estimator): 調整する機械学習モデル。
        param_dist (dict): ハイパーパラメータの探索範囲。
        X_train (DataFrame): トレーニングデータの特徴量。
        X_test (DataFrame): テストデータの特徴量。
        y_train (Series): トレーニングデータのラベル。
        y_test (Series): テストデータのラベル。
        is_classification (bool): モデルが分類器かどうかを示すフラグ。
    """
    
    def __init__(self, model, param_dist, data, feature_columns, target_column):
        """
        コンストラクタ。モデル、ハイパーパラメータの範囲、およびデータを初期化します。
        
        Args:
            model (estimator): 調整する機械学習モデル。
            param_dist (dict): ハイパーパラメータの探索範囲。
            data (DataFrame): データセット。
            feature_columns (list): 特徴量のカラム名リスト。
            target_column (str): 目標変数のカラム名。
        """
        self.model = model
        self.param_dist = param_dist
        self.X = data[feature_columns]
        self.y = data[target_column]
        self.X_train, self.X_test, self.y_train, self.y_test = train_test_split(self.X, self.y, test_size=0.2, random_state=42)
        self.is_classification = hasattr(model, "predict_proba")

    def _print_results(self, best_params, best_model):
        """
        最適なハイパーパラメータとモデルの評価結果を出力します。
        
        Args:
            best_params (dict): 最適なハイパーパラメータ。
            best_model (estimator): 最適なハイパーパラメータで訓練されたモデル。
        """
        print(f"Best parameters: {best_params}")
        y_pred = best_model.predict(self.X_test)
        if self.is_classification:
            accuracy = accuracy_score(self.y_test, y_pred)
            print(f"Accuracy: {accuracy * 100:.2f}%")
        else:
            mse = mean_squared_error(self.y_test, y_pred)
            print(f"Mean Squared Error: {mse:.4f}")

    def grid_search(self):
        """
        グリッドサーチを使用してハイパーパラメータの最適化を行います。
        """
        search = GridSearchCV(estimator=self.model, param_grid=self.param_dist, scoring='accuracy' if self.is_classification else 'neg_mean_squared_error', cv=3, n_jobs=-1)
        search.fit(self.X_train, self.y_train)
        self._print_results(search.best_params_, search.best_estimator_)

    def random_search(self):
        """
        ランダムサーチを使用してハイパーパラメータの最適化を行います。
        """
        search = RandomizedSearchCV(estimator=self.model, param_distributions=self.param_dist, n_iter=100, scoring='accuracy' if self.is_classification else 'neg_mean_squared_error', cv=3, n_jobs=-1, random_state=42)
        search.fit(self.X_train, self.y_train)
        self._print_results(search.best_params_, search.best_estimator_)

    def bayes_search(self):
        """
        ベイズ最適化を使用してハイパーパラメータの最適化を行います。
        """
        def objective(trial):
            """
            ベイズ最適化の目的関数。ハイパーパラメータを提案し、モデルの評価スコアを返します。

            Args:
                trial (Trial): Optunaのトライアルオブジェクト。

            Returns:
                float: モデルの評価スコア。
            """
            params = {}
            for key, value in self.param_dist.items():
                if isinstance(value, list):
                    params[key] = trial.suggest_categorical(key, value)
                elif isinstance(value, tuple):
                    params[key] = trial.suggest_uniform(key, *value)
                elif isinstance(value, range):
                    params[key] = trial.suggest_int(key, value.start, value.stop - 1)
            model = self.model.__class__(**params)
            score = cross_val_score(model, self.X_train, self.y_train, cv=3, scoring='accuracy' if self.is_classification else 'neg_mean_squared_error').mean()
            return score
        
        study = optuna.create_study(direction='maximize' if self.is_classification else 'minimize')
        study.optimize(objective, n_trials=50)
        self._print_results(study.best_params, self.model.__class__(**study.best_params))