Create sweeps with W&B Launch

W&B CLI를 사용하여 프로그래밍 방식으로 Launch로 W&B 스윕을 생성합니다.

1. 스윕 구성을 만듭니다.
2. 스윕 구성 내에서 전체 작업 이름을 지정합니다.
3. 스윕 에이전트를 초기화합니다.

예를 들어 다음 코드 조각에서는 작업 값으로 'wandb/jobs/Hello World 2:latest'를 지정합니다.

# launch-sweep-config.yaml

job: 'wandb/jobs/Hello World 2:latest'
description: launch jobs를 사용한 스윕 예제

method: bayes
metric:
  goal: minimize
  name: loss_metric
parameters:
  learning_rate:
    max: 0.02
    min: 0
    distribution: uniform
  epochs:
    max: 20
    min: 0
    distribution: int_uniform

# 선택적 스케줄러 파라미터:

# scheduler:
#   num_workers: 1  # 동시 스윕 Runs
#   docker_image: <스케줄러의 기본 이미지>
#   resource: <예: local-container...>
#   resource_args:  # Runs에 전달되는 리소스 인수
#     env: 
#         - WANDB_API_KEY

# 선택적 Launch 파라미터
# launch: 
#    registry: <이미지 풀링 레지스트리>

스윕 구성 생성 방법에 대한 자세한 내용은 스윕 구성 정의 페이지를 참조하십시오.

4. 다음으로 스윕을 초기화합니다. 구성 파일의 경로, 작업 Queue 이름, W&B 엔티티 및 프로젝트 이름을 제공합니다.

wandb launch-sweep <path/to/yaml/file> --queue <queue_name> --entity <your_entity>  --project <project_name>

W&B Sweeps에 대한 자세한 내용은 하이퍼파라미터 튜닝 챕터를 참조하십시오.

사용자 정의 스케줄러는 스케줄러 작업을 만들어 생성할 수 있습니다. 이 가이드에서는 로깅을 더 많이 제공하기 위해 WandbScheduler를 수정합니다.

1. wandb/launch-jobs 리포지토리를 복제합니다(특히: wandb/launch-jobs/jobs/sweep_schedulers).
2. 이제 wandb_scheduler.py를 수정하여 원하는 로깅 증가를 달성할 수 있습니다. 예: 함수 _poll에 로깅을 추가합니다. 이는 새 스윕 Runs를 시작하기 전에 폴링 주기(구성 가능한 타이밍)마다 한 번씩 호출됩니다.
3. 수정된 파일을 실행하여 작업을 만듭니다. python wandb_scheduler.py --project <project> --entity <entity> --name CustomWandbScheduler
4. UI 또는 이전 호출의 출력에서 생성된 작업의 이름을 식별합니다. 이는 코드 아티팩트 작업입니다(달리 지정하지 않은 경우).
5. 이제 스케줄러가 새 작업을 가리키는 스윕 구성을 만듭니다.

...
scheduler:
  job: '<entity>/<project>/job-CustomWandbScheduler:latest'
...

Optuna는 주어진 모델에 대한 최상의 하이퍼파라미터를 찾기 위해 다양한 알고리즘을 사용하는 하이퍼파라미터 최적화 프레임워크입니다(W&B와 유사). 샘플링 알고리즘 외에도 Optuna는 성능이 낮은 Runs를 조기에 종료하는 데 사용할 수 있는 다양한 가지치기 알고리즘도 제공합니다. 이는 많은 수의 Runs를 실행할 때 특히 유용하며 시간과 리소스를 절약할 수 있습니다. 클래스는 고도로 구성 가능하며 구성 파일의 scheduler.settings.pruner/sampler.args 블록에서 예상되는 파라미터를 전달하기만 하면 됩니다.

Optuna의 스케줄링 로직을 작업과 함께 사용하여 Launch 스윕을 생성합니다.

1. 먼저 자신의 작업을 만들거나 미리 빌드된 Optuna 스케줄러 이미지 작업을 만듭니다.

   • 자신의 작업을 만드는 방법에 대한 예는 wandb/launch-jobs 리포지토리를 참조하십시오.
   • 미리 빌드된 Optuna 이미지를 사용하려면 wandb/sweep-jobs 프로젝트에서 job-optuna-sweep-scheduler로 이동하거나 작업 이름 wandb/sweep-jobs/job-optuna-sweep-scheduler:latest를 사용할 수 있습니다.

2. 작업을 만든 후 스윕을 만들 수 있습니다. Optuna 스케줄러 작업을 가리키는 job 키가 있는 scheduler 블록이 포함된 스윕 구성을 만듭니다(아래 예제).

  # optuna_config_basic.yaml
  description: 기본 Optuna 스케줄러
  job: wandb/sweep-jobs/job-fashion-MNIST-train:latest
  run_cap: 5
  metric:
    name: epoch/val_loss
    goal: minimize

  scheduler:
    job: wandb/sweep-jobs/job-optuna-sweep-scheduler:latest
    resource: local-container  # 이미지에서 제공되는 스케줄러 작업에 필요합니다.
    num_workers: 2

    # optuna 특정 설정
    settings:
      pruner:
        type: PercentilePruner
        args:
          percentile: 25.0  # Runs의 75% 종료
          n_warmup_steps: 10  # 처음 x단계에서는 가지치기가 꺼집니다.

  parameters:
    learning_rate:
      min: 0.0001
      max: 0.1

3. 마지막으로 launch-sweep 명령으로 활성 Queue에 스윕을 시작합니다.

wandb launch-sweep <config.yaml> -q <queue> -p <project> -e <entity>

Optuna 스윕 스케줄러 작업의 정확한 구현은 wandb/launch-jobs를 참조하십시오. Optuna 스케줄러로 가능한 작업에 대한 자세한 예는 wandb/examples를 확인하십시오.