Optunaとoptuna-dashboardの使い方をLightgbmを例に学ぶ

Optuna は機械学習で最適なハイパーパラメータを探してくれる Python ライブラリです。

特徴は自動でハイパーパラメータを探索する、最新のアルゴリズムを使ってる、並列化も容易であることです。

この記事ははそんな Optuna を 1 から勉強する記事です。

optuna 準備

環境は Mac で VScode から Jupyter を使って実験します。

poetry を使って環境を準備します。以下がpyproject.tomlです。後半で使うものもいろいろ入ってるので、optuna だけなら optuna のみで大丈夫です

[tool.poetry]
name = "optuna_lightgbm"
version = "0.1.0"
description = ""
authors = ["Your Name <user@example.com>"]

[tool.poetry.dependencies]
python = "^3.8"
jupyter = "^1.0.0"
pandas = "^1.4.2"
optuna = "^2.10.0"
lightgbm = "^3.3.2"
sklearn = "^0.0"
optuna-dashboard = "^0.6.4"

[tool.poetry.dev-dependencies]

[build-system]
requires = ["poetry-core>=1.0.0"]
build-backend = "poetry.core.masonry.api"

これでpoetry installで完了です。

optuna 基本的な使い方

公式サイトのチュートリアルをやってみます。

以下がこちらのチュートリアルのコードです。

# %%
import optuna
from optuna.trial import Trial
def objective(trial:Trial):
    x = trial.suggest_float("x", -10, 10)
    return (x - 2) ** 2
# %%
study = optuna.create_study()
study.optimize(objective, n_trials=100)
# %%
best_params = study.best_params
found_x = best_params["x"]
print("Found x: {}, (x - 2)^2: {}".format(found_x, (found_x - 2) ** 2))

チュートリアルにはないですが、勉強のためにobjective関数の引数に型を書いてます。

上記コードを噛み砕くと、

1. 最適化対象関数を作成
   • 最適化したい関数をobjectiveという Python の関数の戻り値に設定
   • objective関数の引数に Trial 型の引数を設定
   • objective関数内部で Trial クラスのメソッドでsuggest_floatを呼び出す
   • suggest_floatでは最適化したい変数名と探索範囲を指定する
2. 最適化パラメータ探索実行
   • optunaのcreate_study()メソッドで optuna の学習用インスタンス（study）を作成
   • studyからoptimizeメソッドを呼び出し探索スタート。引数には繰り返し回数を指定
3. 結果の取り出し
   • studyのbest_paramsに（おそらく）探索したパラメータ群が辞書で入ってるので、設定した変数名を指定して取り出す

上記は単純な凸関数の最小値となる変数を求めるものでしたが、実際に使いたい場面は機械学習アルゴリズムのハイパーパラメーター探索です。

そこで続いては、機械学習アルゴリズムの LightGBM の example を試してみます。

optuna を LightGBM に使う

optuna がそのまんまの example を用意してるので活用します。

丸写しはあれなのでちょっとコードとコメントを追記してます。

import numpy as np
import optuna
from optuna.trial import Trial
import lightgbm as lgb
import sklearn.datasets
import sklearn.metrics
from sklearn.model_selection import train_test_split
# ログが多いのでoptunaのログをいったん非表示に
optuna.logging.disable_default_handler()
def objective(trial:Trial):
    data, target = sklearn.datasets.load_breast_cancer(return_X_y=True)
    train_x, valid_x, train_y, valid_y = train_test_split(data, target, test_size=0.25)
    dtrain = lgb.Dataset(train_x, label=train_y)
    # lightgbmのパラメータたち
    # パラメータの型に応じてtrialのメソッドを変える
    param = {
        "objective": "binary",
        "metric": "binary_logloss",
        "verbosity": -1,
        "boosting_type": "gbdt",
        "lambda_l1": trial.suggest_float("lambda_l1", 1e-8, 10.0, log=True),
        "lambda_l2": trial.suggest_float("lambda_l2", 1e-8, 10.0, log=True),
        "num_leaves": trial.suggest_int("num_leaves", 2, 256),
        "feature_fraction": trial.suggest_float("feature_fraction", 0.4, 1.0),
        "bagging_fraction": trial.suggest_float("bagging_fraction", 0.4, 1.0),
        "bagging_freq": trial.suggest_int("bagging_freq", 1, 7),
        "min_child_samples": trial.suggest_int("min_child_samples", 5, 100),
    }
    gbm = lgb.train(param, dtrain)
    preds = gbm.predict(valid_x)
    pred_labels = np.rint(preds)
    accuracy = sklearn.metrics.accuracy_score(valid_y, pred_labels)
    return accuracy
# 最大化する場合は明示的に書く。今回はaccuracyを最大化する最適化問題
study = optuna.create_study(direction="maximize")
study.optimize(objective, n_trials=100)

あれ、思ったより簡単だぞ。

結局objective関数に最適化したいパラメータの設定と目的となる値を返り値にするだけか。

ポイントはobjective関数内でデータセット準備 → 学習 → 評価までやらないといけないこと。

逆にいうと、既存コードを丸々objective関数に入れるということもできそう。

Optuna dashboard の使い方

Optuna の最適化結果を可視化するoptuna-dashboardなるものがあるので使ってみました。

使うには pip などでインストールする必要があります。

poetry add optuna-dashboard

ドキュメントにはあまり説明がありませんが、実際に可視化するにはまず optuna の最適化結果を sqlite に書き出す必要があります。

やり方はoptuna.create_study()の引数にstudy_name=study_name, storage=storage_nameを加えて以下のようにします。

study_name = "example-study"  # Unique identifier of the study.
storage_name = "sqlite:///{}.db".format(study_name)
optuna.create_study(study_name=study_name, storage=storage_name)

最適化が実行されると{storage_name}.dbというファイルが生成されるので、以下コマンドの引数に指定して実行します。

optuna-dashboard sqlite:///example-study.db

そうすると以下のようなダッシュボードがブラウザの logalhost:8080 で表示されます。

ダッシュボード の内容ですが、正直わからないことが多いです。

ちょっと調べてみると、重要なハイパーパラメータとパラメータ間の相関関係などが表示されるようです。

試しに LightGBM のパターンで可視化してみました。

なるほど。確かに参考になりそうな結果。

いずれにせよ LightGBM の各種パラメータの理解は必須になりますね。

今回は以上です！