Skip to main content

​
使用方法

​
説明

W&B LEET: 軽量な実験探索ツール。 ローカルで W&B Runs を表示するためのターミナル UI です。

​
サブコマンド

W&B LEET (Lightweight Experiment Exploration Tool) は、コマンドラインから W&B Runs を確認するためのローカルのターミナル UI です。これを使用すると、ターミナルセッションを離れることなく、Runs の比較、メトリクスのチャートの確認、ログした画像の参照、コンソールログの追跡、システムメトリクスの監視を行えます。 LEET はローカルの .wandb run file を読み込むため、W&B に Sync する前でも Runs を確認できます。LEET はキーボード操作中心のインターフェースで、SSH や tmux などのツールを使用してリモートシステムや HPC 環境で作業するユーザー向けに設計されています。
Runs、メトリクス、システムメトリクス、メディア、コンソールログ、run の Overview ペインを含む W&B LEET Workspace ビュー。

​
例

デフォルトのWorkspaceを開きます:
特定の Workspace ディレクトリを開く:
特定の run ディレクトリを開くには:
特定の .wandb ファイルを開くには:
スタンドアロンのシステムモニターを開きます。
設定エディタを開きます:

​
ビュー

LEET には、Workspace、single-run、SYMON という3つの主要なビューがあります。

​
Workspace ビュー

Workspace ビュー は、LEET のデフォルトの表示です。同じローカル wandb/ ディレクトリ内にある複数の run を比較できるように設計されています。 Workspace ビュー には、次の要素があります。
  • ローカルの run フォルダを参照するための Runs サイドバー。
  • 選択した複数の run を同じチャートに重ねて表示するメトリクス グリッド。
  • ハイライトされている run のシステム メトリクス ペイン。
  • wandb.Image のサムネイルを表示するメディア ペイン。
  • コンソール ログ ペイン。
  • state、ID、名、project、tags、メモ、環境、設定、summary の値を表示する run 概要サイドバー。
run を選択または選択解除するには、space を使用します。run を選択すると、重ねて表示しているメトリクス チャートに追加され、その run 固有のデータが読み込まれます。run をピン留めまたはピン留め解除するには、p を使用します。ピン留めすると、重ねて表示しているメトリクス チャートでその run のメトリクス系列が常に最前面に表示されます。一方、run 概要、システム メトリクス、メディア、コンソール ログの各ペインは、Runs サイドバーでハイライトされている run に追従します。ハイライトされている run で enter を押すと、単一 run ビュー で開きます。 選択したライブ run は Workspace ビュー内で更新され続けるため、LEET は run 後の分析とライブ モニタリングの両方に使用できます。

​
単一 run ビュー

単一 run ビュー は 1 つの run に焦点を当てた表示です。Workspace ビュー と同じチャートエンジンを使用していますが、その run を中心に構成されています。
  • メインのメトリクスグリッドは中央にあります。
  • run 概要サイドバーは左側にあります。
  • システムメトリクス サイドバーは右側にあります。
  • メディアペインとコンソールログペインは、メトリクスグリッドの下に開くことができます。
run overview、メトリクスチャート、システムメトリクス ペインを備えた W&B LEET の 単一 run ビュー。
単一 run ビュー から Workspace に戻るには、esc キーを押します。

​
SYMON

wandb beta leet symon は、W&B の run に関連付けられていないスタンドアロンのシステムモニターを開きます。 別のプロセスの実行中に、SYMON を使用してローカルの CPU、メモリ、ディスク、ネットワーク、GPU、TPU、IPU、Trainium のメトリクスを監視できます。これは、Workspace および単一 run ビューと同じシステムメトリクス チャートエンジンを使用します。 --interval でサンプリング間隔を設定します。
GPUチャートとバケット分けされたヒートマップモードを表示した W&B LEET のシステムメトリクス画面。

​
主な機能

​
複数の Runs の比較

Workspaceモードでは、複数のローカルのRunsを選択し、それぞれのメトリクス系列を同じチャート上で比較できます。選択した各 run には固定の色が割り当てられます。LEET はベース色の重複も回避するため、表示中の Runs をより簡単に見分けられます。 Runs のリストでは、未選択、選択済み、固定済みの Runs がそれぞれ異なるマーカーで表示されます。多数の Runs を選択していて、1 つの run のメトリクス系列を最前面に表示したい場合は、固定が役立ちます。

​
Run のフィルタリング

Workspace view で f キーを押すと、Runs サイドバーをフィルターできます。修飾子なしの語句は、run key、表示名、run ID、project、tags、メモを対象に横断検索されます。 Runs フィルターでは、フィールド付きクエリもサポートされています。 サポートされる演算子は :, =, !=, >, >=, <, <= です。数値比較は、学習率、バッチサイズ、レイヤー数などの設定値に対して特に便利です。 論理積には空白または AND、選択肢の指定には OR または |、否定には -、!、または NOT を使用します。空白を含むフレーズは引用符で囲んでください。 例:
フィルターの編集中に tab を押すと、regex モードと glob モードを切り替えられます。Regex モードは、クエリに regex のメタ文字が含まれていない限り、大文字と小文字を区別しない部分文字列検索として動作します。Glob モードでは、任意の文字列の並びに *、任意の 1 文字に ? を使用できます。

​
メトリクスとシステムメトリクス

LEET はスカラーメトリクスをターミナルの折れ線チャートとして表示します。/ を使用して run のメトリクスをフィルタリングし、\ を使用してシステムメトリクスをフィルタリングします。ctrl+/ を押すとメトリクスフィルターがクリアされ、ctrl+\ を押すとシステムメトリクスフィルターがクリアされます。 チャートをクリックするか、w、a、s、d、または矢印キーでフォーカスを移動します。前のページに移動するには N または pgup、次のページに移動するには n または pgdown を使用し、home または end で最初または最後のページにジャンプします。 フォーカス中のチャートで y を押すと、チャートモードが順に切り替わります。
  • run メトリクスチャートは、チャートに正の値がある場合、Y 軸の対数スケールを切り替えます。
  • システムメトリクスチャートは、Y 軸の対数スケールを切り替えます。
  • パーセンテージベースのシステムメトリクスチャートは、バケット化されたヒートマップモードにも切り替えられます。
マウスホイールを使用して、フォーカス中のチャートをズームします。ライブのシステムメトリクスチャートでは、LEET はデフォルトで 10 分間のローリングテールウィンドウを使用します。ズームアウトすると、より多くの履歴が表示されます。 チャート上で右クリックしてドラッグすると、最も近いポイントを確認できます。alt を押しながら右クリックしてドラッグすると、同じ X 座標にある表示中のすべてのチャートを確認できます。

​
Media Pane

メディアペインは、wandb.Image データを ANSI サムネイルとしてターミナルに直接表示します。Workspace ビューと単一 run ビューの両方で利用できます。 3 でメディアペインを開閉します。メディアペインにフォーカスがある場合:
  • w、a、s、d でメディアタイル間を移動します。
  • 矢印キーで、選択したメディアシリーズを X 軸に沿ってスクラブします。
  • up と down では、より大きな間隔でスクラブします。
  • home と end では、最初または最新のフレームにスクラブします。
  • pgup と pgdown でメディアページ間を移動します。
  • enter でフルスクリーンモードを切り替えます。
  • esc でフルスクリーンモードを終了します。
複数の画像シリーズを表示するメディアペインを含む W&B LEET Workspace ビュー。

​
コンソールログ

4 キーでコンソールログペインを開閉できます。このペインには、単一 run ビューでは開いている run のコンソール出力が表示され、Workspace ビューではハイライトされている run のコンソール出力が表示されます。 LEET は、ANSI エスケープコード、途中までの行、キャリッジリターンを含む出力も含め、生のターミナル出力を読みやすいログ行に整形します。

​
Run の概要

run 概要サイドバーには、run のメタデータとログ済みの値が表示されます。
  • State、run ID、表示名、project、tags、メモ。
  • 環境値。
  • 設定値。
  • Summary 値。
概要項目をフィルターするには o を押します。概要フィルターをクリアするには ctrl+o を押します。

​
システムメトリクスの対応範囲

システムメトリクスのペインと SYMON では、ローカルの run file またはライブサンプラーからメトリクスを取得できる場合、ホストおよびアクセラレータのメトリクスを表示できます。サポートされるチャート定義には、次のものがあります。
  • CPU、コアごとの CPU、Apple P-core と E-core の使用率、CPU 周波数、CPU 温度、CPU 電力。
  • RAM、スワップ、プロセスメモリ、プロセス CPU、プロセスのスレッド数。
  • ディスク使用量とディスク I/O。
  • ネットワークの受信および送信スループット。
  • NVIDIA GPU の使用率、メモリ、電力、温度、クロック、エラー、エンコーダ使用率、PCIe および NVLink スループット。
  • サポートされる Hopper 以降の NVIDIA GPU の NVML GPM メトリクス。これには、SM active、SM occupancy、tensor/FP pipeline activity、DRAM active が含まれます。
  • Google TPU のデューティサイクル、tensorcore 使用率、HBM 使用量、HLO キューサイズ、転送レイテンシ、および利用可能な場合は SDK 専用の TPU ゲージ。
  • Graphcore IPU の温度、クロック、電力、使用率。
  • AWS Trainium および Neuron の使用率とメモリメトリクス。

​
設定

次のコマンドで設定エディタを起動します。
LEET は設定を wandb-leet.json に保存します。デフォルトでは、このファイルは次の場所に書き込まれます。
WANDB_CONFIG_DIR が設定されている場合、LEET は代わりにそのディレクトリを使用します。 設定エディタでは、次の項目を変更できます。
  • 起動モード: workspace_latest または single_run_latest
  • workspace、single-run、media、システムメトリクス、SYMON ビューのグリッドサイズ
  • デフォルトで表示するペイン
  • run メトリクス、プロットごとの single-run チャート、system チャート、run タグ、バケット化されたヒートマップのカラースキーム
  • 色の割り当てモード: per_series または per_plot
  • システムメトリクス のライブテールウィンドウ
  • live run 更新のハートビート間隔
グリッド設定、カラースキーム、表示設定、パレット選択を示す W&B LEET の設定エディタ。
LEET 内から、フォーカス中のグリッドのサイズを変更することもできます。 c または r を押したら、1 から 9 までの数字を押すか、esc を押してキャンセルします。

​
一般的な設定キー

使用可能なカラースキームには、wandb-vibe-10、wandb-vibe-20、sunset-glow、blush-tide、gilded-lagoon、bootstrap-vibe、dusk-shore、clear-signal、traffic-light、viridis、plasma、inferno、magma、cividis があります。 dusk-shore と clear-signal は色覚特性に配慮したパレットです。viridis、plasma、inferno、magma、cividis、traffic-light などの連続パレットは、バケット化されたヒートマップに適しています。

​
キーボードショートカット

LEETで h または ? を押すと、アプリ内ヘルプが開きます。ショートカットはビューによって若干異なります。

​
Workspace

​
単一 run

​
SYMON

​
マウス

​
変更履歴

次の表は、バージョンごとの LEET の変更点をまとめたものです。詳細については、GitHub リリースノートを参照してください。