spaCy

spaCy は、人気のある「産業用強度」の NLP ライブラリであり、高速かつ正確なモデルを最小限の手間で実現します。spaCy v3 以降、Weights & Biases を spacy train と共に使用して、spaCy モデルのトレーニング メトリクスを追跡したり、モデルとデータセットを保存およびバージョン管理したりできるようになりました。必要な作業は、設定に数行追加するだけです。

サインアップして APIキー を作成する

APIキー は、お使いのマシンを W&B に対して認証します。APIキー は、ユーザープロフィールから生成できます。

1. 右上隅にあるユーザープロフィールアイコンをクリックします。
2. ユーザー設定 を選択し、APIキー セクションまでスクロールします。
3. 公開 をクリックします。表示された APIキー をコピーします。APIキー を非表示にするには、ページをリロードしてください。

wandb ライブラリをインストールしてログインする

ローカルに wandb ライブラリをインストールしてログインするには:

• コマンドライン
• Python
• Python notebook

pip install wandb

import wandb
wandb.login()

!pip install wandb

import wandb
wandb.login()

WandbLogger を spaCy 設定ファイルに追加する

spaCy の設定ファイルは、ロギングだけでなく、トレーニングのあらゆる側面（GPU 割り当て、オプティマイザー の選択、データセット のパスなど）を指定するために使用されます。最小限の構成として、[training.logger] の下に、キー @loggers に値 "spacy.WandbLogger.v3" と project_name を指定する必要があります。

[training.logger]
@loggers = "spacy.WandbLogger.v3"
project_name = "my_spacy_project"
remove_config_values = ["paths.train", "paths.dev", "corpora.train.path", "corpora.dev.path"]
log_dataset_dir = "./corpus"
model_log_interval = 1000

トレーニングを開始する

WandbLogger を spaCy トレーニング設定に追加したら、通常どおり spacy train を実行できます。

• コマンドライン
• Python
• Python notebook

python -m spacy train \
    config.cfg \
    --output ./output \
    --paths.train ./train \
    --paths.dev ./dev

python -m spacy train \
    config.cfg \
    --output ./output \
    --paths.train ./train \
    --paths.dev ./dev

!python -m spacy train \
    config.cfg \
    --output ./output \
    --paths.train ./train \
    --paths.dev ./dev

トレーニングが開始されると、トレーニング run の W&B ページへのリンクが出力されます。このリンクをクリックすると、Weights & Biases Web UI で、この run の 実験管理 ダッシュボードに移動します。