Artifacts

W&B Artifacts 에 대한 개요, 작동 방식, Artifacts 사용 시작 방법

W&B Artifacts를 사용하여 데이터를 W&B Runs의 입력 및 출력으로 추적하고 버전을 관리하세요. 예를 들어, 모델 트레이닝 run은 데이터셋을 입력으로 사용하고 트레이닝된 모델을 출력으로 생성할 수 있습니다. 하이퍼파라미터, 메타데이터, 메트릭을 run에 기록하고, 아티팩트를 사용하여 모델 트레이닝에 사용된 데이터셋을 입력으로, 결과 모델 체크포인트를 출력으로 기록, 추적 및 버전 관리할 수 있습니다.

유스 케이스

runs의 입력 및 출력으로 전체 ML 워크플로우에서 아티팩트를 사용할 수 있습니다. 데이터셋, 모델 또는 기타 아티팩트를 처리 입력으로 사용할 수 있습니다.

유스 케이스 입력 출력
모델 트레이닝 데이터셋 (트레이닝 및 검증 데이터) 트레이닝된 모델
데이터셋 전처리 데이터셋 (raw 데이터) 데이터셋 (전처리된 데이터)
모델 평가 모델 + 데이터셋 (테스트 데이터) W&B Table
모델 최적화 모델 최적화된 모델

아티팩트 만들기

다음 네 줄의 코드로 아티팩트를 만드세요:

  1. W&B run을 만듭니다.
  2. wandb.Artifact API로 아티팩트 오브젝트를 만듭니다.
  3. 모델 파일 또는 데이터셋과 같은 파일을 아티팩트 오브젝트에 하나 이상 추가합니다.
  4. 아티팩트를 W&B에 기록합니다.

예를 들어, 다음 코드 조각은 dataset.h5 파일을 example_artifact라는 아티팩트에 기록하는 방법을 보여줍니다:

import wandb

run = wandb.init(project="artifacts-example", job_type="add-dataset")
artifact = wandb.Artifact(name="example_artifact", type="dataset")
artifact.add_file(local_path="./dataset.h5", name="training_dataset")
artifact.save()

# "my_data" 아티팩트 버전을 dataset.h5의 데이터와 함께 데이터셋으로 기록합니다.

아티팩트 다운로드

use_artifact 메소드를 사용하여 run에 대한 입력으로 표시할 아티팩트를 지정합니다.

이전 코드 조각에 따라 다음 코드 블록은 training_dataset 아티팩트를 사용하는 방법을 보여줍니다.

artifact = run.use_artifact(
    "training_dataset:latest"
)  # "my_data" 아티팩트를 사용하여 run 오브젝트를 반환합니다.

이것은 아티팩트 오브젝트를 반환합니다.

다음으로, 반환된 오브젝트를 사용하여 아티팩트의 모든 내용을 다운로드합니다.

datadir = (
    artifact.download()
)  # `my_data` 아티팩트 전체를 기본 디렉토리에 다운로드합니다.

다음 단계

  • 아티팩트 버전 관리업데이트 방법에 대해 알아보세요.
  • 자동화를 통해 아티팩트 변경에 대한 응답으로 다운스트림 워크플로우를 트리거하거나 Slack 채널에 알리는 방법에 대해 알아보세요.
  • 트레이닝된 모델을 보관하는 공간인 레지스트리에 대해 알아보세요.
  • Python SDKCLI 참조 가이드를 살펴보세요.

Create an artifact

W&B 아티팩트를 생성하고 구축합니다. 아티팩트에 하나 이상의 파일 또는 URI 참조를 추가하는 방법을 알아봅니다.

Download and use artifacts

여러 프로젝트에서 아티팩트 를 다운로드하고 사용하세요.

Update an artifact

W&B Run 안팎에서 기존 아티팩트 를 업데이트합니다.

Create an artifact alias

W&B Artifacts에 대한 사용자 지정 에일리어스를 만드세요.

Create an artifact version

단일 run 또는 분산된 process 에서 새로운 아티팩트 버전을 만드세요.

Track external files

Amazon S3 버킷, GCS 버킷, HTTP 파일 서버 또는 NFS 공유와 같이 W&B 외부에 저장된 파일을 추적합니다.

Manage data

Explore artifact graphs

자동으로 생성된 직접 비순환 W&B Artifact 그래프를 트래버스합니다.

Artifact data privacy and compliance

W&B 파일이 기본적으로 어디에 저장되는지 알아보세요. 민감한 정보를 저장하고 보관하는 방법을 살펴보세요.

Tutorial: Create, track, and use a dataset artifact

Artifacts 퀵스타트는 W&B를 사용하여 데이터셋 아티팩트를 생성, 추적 및 사용하는 방법을 보여줍니다.