Create sweeps with W&B Launch

W&B CLI を使用して、プログラムで Launch で W&B Sweep を作成します。

1. Sweep 設定を作成します。
2. sweep 設定内でジョブの完全な名前を指定します。
3. sweep agent を初期化します。

たとえば、次の コードスニペット では、ジョブの値に 'wandb/jobs/Hello World 2:latest' を指定します。

# launch-sweep-config.yaml

job: 'wandb/jobs/Hello World 2:latest'
description: launch jobs を使用した sweep の例

method: bayes
metric:
  goal: minimize
  name: loss_metric
parameters:
  learning_rate:
    max: 0.02
    min: 0
    distribution: uniform
  epochs:
    max: 20
    min: 0
    distribution: int_uniform

# Optional scheduler parameters:

# scheduler:
#   num_workers: 1  # concurrent sweep runs
#   docker_image: <base image for the scheduler>
#   resource: <ie. local-container...>
#   resource_args:  # resource arguments passed to runs
#     env:
#         - WANDB_API_KEY

# Optional Launch Params
# launch:
#    registry: <registry for image pulling>

sweep 設定の作成方法については、sweep 設定の定義 ページを参照してください。

4. 次に、sweep を初期化します。 設定ファイルへのパス、ジョブキューの名前、W&B エンティティ、およびプロジェクトの名前を指定します。

wandb launch-sweep <path/to/yaml/file> --queue <queue_name> --entity <your_entity>  --project <project_name>

W&B Sweeps の詳細については、ハイパーパラメータの チューニング のチャプターを参照してください。

カスタムスケジューラは、スケジューラジョブを作成することで作成できます。 このガイドの目的のために、ログをより多く提供するために WandbScheduler を変更します。

1. wandb/launch-jobs リポジトリ (具体的には wandb/launch-jobs/jobs/sweep_schedulers) を複製します。
2. これで、wandb_scheduler.py を変更して、必要なログの増加を実現できます。 例: 関数 _poll にログを追加します。 これは、新しい sweep run を起動する前に、ポーリングサイクルごとに 1 回 (設定可能なタイミング) 呼び出されます。
3. 変更したファイルを実行してジョブを作成します。python wandb_scheduler.py --project <project> --entity <entity> --name CustomWandbScheduler
4. UI または前の呼び出しの出力で、作成されたジョブの名前を特定します。これは、コードアーティファクトジョブになります (特に指定されていない場合)。
5. 次に、スケジューラが新しいジョブを指す sweep 構成を作成します。

...
scheduler:
  job: '<entity>/<project>/job-CustomWandbScheduler:latest'
...

Optuna は、特定のモデルに最適なハイパーパラメータを見つけるためにさまざまなアルゴリズムを使用するハイパーパラメータ最適化 フレームワーク です (W&B と同様)。 Optuna は、サンプリングアルゴリズムに加えて、パフォーマンスの低い run を早期に終了するために使用できるさまざまな枝刈りアルゴリズムも提供します。 これは、多数の run を実行する場合に特に役立ちます。時間とリソースを節約できるためです。 クラスは高度に設定可能で、設定ファイルの scheduler.settings.pruner/sampler.args ブロックに必要なパラメータを渡すだけです。

Optuna のスケジューリングロジックをジョブで使用して、Launch sweep を作成します。

1. まず、独自のジョブを作成するか、事前構築済みの Optuna スケジューライメージジョブを使用します。

   • 独自のジョブを作成する方法の例については、wandb/launch-jobs リポジトリを参照してください。
   • 事前構築済みの Optuna イメージを使用するには、wandb/sweep-jobs プロジェクトの job-optuna-sweep-scheduler に移動するか、ジョブ名 wandb/sweep-jobs/job-optuna-sweep-scheduler:latest を使用できます。

2. ジョブを作成したら、sweep を作成できます。 Optuna スケジューラジョブを指す job キーを持つ scheduler ブロックを含む sweep 構成を作成します (以下の例)。

  # optuna_config_basic.yaml
  description: 基本的な Optuna スケジューラ
  job: wandb/sweep-jobs/job-fashion-MNIST-train:latest
  run_cap: 5
  metric:
    name: epoch/val_loss
    goal: minimize

  scheduler:
    job: wandb/sweep-jobs/job-optuna-sweep-scheduler:latest
    resource: local-container  # イメージから取得したスケジューラジョブに必要
    num_workers: 2

    # optuna 固有の設定
    settings:
      pruner:
        type: PercentilePruner
        args:
          percentile: 25.0  # run の 75% を強制終了
          n_warmup_steps: 10  # 最初の x ステップでは枝刈りはオフ

  parameters:
    learning_rate:
      min: 0.0001
      max: 0.1

3. 最後に、launch-sweep コマンドを使用して、アクティブなキューに sweep を起動します。

wandb launch-sweep <config.yaml> -q <queue> -p <project> -e <entity>

Optuna sweep スケジューラジョブの正確な実装については、wandb/launch-jobs を参照してください。 Optuna スケジューラで可能なことのより多くの例については、wandb/examples を確認してください。