Skip to main content

Utilisation

Description

W&B LEET : l’outil léger d’exploration des expériences. Une interface de terminal pour consulter localement vos runs W&B.

Sous-commandes

W&B LEET, le Lightweight Experiment Exploration Tool, est une interface de terminal locale pour explorer les runs W&B depuis la ligne de commande. Utilisez-le pour comparer des runs, inspecter des graphiques de métriques, parcourir les images enregistrées, suivre les journaux de la console en temps réel et surveiller les métriques système sans quitter votre terminal. LEET lit les fichiers .wandb de run locaux, ce qui vous permet d’inspecter les runs avant de les synchroniser avec W&B. LEET est une interface pilotée au clavier, conçue pour les utilisateurs qui travaillent sur des systèmes distants ou dans des environnements HPC à l’aide d’outils comme SSH ou tmux.
Vue de l’espace de travail W&B LEET avec des volets pour les runs, les métriques, les métriques système, les médias, les journaux de la console et l’aperçu du run.

Exemples

Ouvrez l’espace de travail par défaut :
Ouvrez le répertoire d’un espace de travail spécifique :
Ouvrez le répertoire d’un run spécifique :
Ouvrez un fichier .wandb spécifique :
Ouvrez le moniteur système autonome :
Ouvrez l’éditeur de configuration :

Vues

LEET comporte trois vues principales : espace de travail, run unique et SYMON.

Vue de l’espace de travail

La vue de l’espace de travail est l’affichage LEET par défaut. Elle est conçue pour comparer plusieurs runs à partir du même répertoire local wandb/. La vue de l’espace de travail comprend :
  • Une barre latérale des runs pour parcourir les dossiers de runs locaux.
  • Une grille de métriques qui superpose les runs sélectionnés sur les mêmes graphiques.
  • Un panneau de métriques système pour le run en surbrillance.
  • Un volet multimédia pour les miniatures wandb.Image.
  • Un volet des journaux de la console.
  • Une barre latérale d’aperçu du run avec l’état, l’ID, le nom, le projet, les tags, les notes, l’environnement, la configuration et les valeurs de synthèse.
Utilisez space pour sélectionner ou désélectionner un run. Lorsqu’un run est sélectionné, il est ajouté aux graphiques de métriques superposés et ses données spécifiques sont chargées. Utilisez p pour épingler ou désépingler un run. L’épinglage maintient la série de métriques de ce run au premier plan dans les graphiques de métriques superposés ; les panneaux d’aperçu du run, de métriques système, le volet multimédia et le volet des journaux de la console suivent le run en surbrillance dans la barre latérale des runs. Appuyez sur enter lorsque le run est en surbrillance pour l’ouvrir dans la vue d’un seul run. Les runs actifs sélectionnés continuent de se mettre à jour dans l’espace de travail. Vous pouvez donc utiliser LEET à la fois pour l’analyse après exécution et pour la surveillance en temps réel.

Vue d’un run

La vue d’un run est centrée sur un seul run. Elle utilise le même moteur de graphiques que la vue de l’espace de travail, mais s’articule autour de ce run :
  • La grille principale des métriques est au centre.
  • La barre latérale d’aperçu du run se trouve à gauche.
  • La barre latérale des métriques système se trouve à droite.
  • Les volets des médias et des journaux de la console peuvent être ouverts sous la grille des métriques.
Vue d’un run W&B LEET avec les volets d’aperçu du run, les graphiques de métriques et les métriques système.
Appuyez sur esc pour revenir de la vue d’un run à l’espace de travail.

SYMON

wandb beta leet symon ouvre un moniteur système autonome qui n’est pas associé à un run W&B. Utilisez SYMON pour surveiller les métriques locales du CPU, de la mémoire, du disque, du réseau, du GPU, du TPU, de l’IPU et de Trainium pendant l’exécution d’un autre processus. Il utilise le même moteur de graphiques des métriques système que l’espace de travail et les vues de run individuelles. Définissez la cadence d’échantillonnage avec --interval :
Vue des métriques système de W&B LEET avec des graphiques GPU et un mode de carte thermique par plages.

Principales fonctionnalités

Comparaison de plusieurs runs

Le mode Workspace vous permet de sélectionner plusieurs runs locaux et de comparer leurs séries de métriques sur les mêmes graphiques. Chaque run sélectionné se voit attribuer une couleur fixe. LEET évite également les conflits entre couleurs de base afin de mieux distinguer les runs visibles. La liste des runs utilise des marqueurs distincts pour les runs non sélectionnés, sélectionnés et épinglés. L’épinglage est utile lorsque de nombreux runs sont sélectionnés et que vous souhaitez qu’une série de métriques s’affiche au premier plan.

Filtrage des runs

Appuyez sur f dans la vue espace de travail pour filtrer la barre latérale des runs. Les termes non qualifiés lancent une recherche dans la clé du run, le nom d’affichage, l’ID du run, le projet, les tags et les notes. Le filtre des runs prend également en charge les requêtes par champ : Les opérateurs pris en charge sont :, =, !=, >, >=, < et <=. Les comparaisons numériques sont utiles pour les valeurs de configuration comme le taux d’apprentissage, la taille de lot ou le nombre de couches. Utilisez des espaces ou AND pour la conjonction, OR ou | pour les alternatives, et -, ! ou NOT pour la négation. Utilisez des guillemets pour les expressions contenant des espaces. Exemples :
Lorsque vous modifiez un filtre, appuyez sur tab pour basculer entre les modes regex et glob. Le mode regex fonctionne comme une recherche de sous-chaîne insensible à la casse, sauf si la requête contient des métacaractères regex. En mode glob, * représente n’importe quelle séquence et ? n’importe quel caractère unique.

Métriques et métriques système

LEET affiche les métriques scalaires sous forme de graphiques linéaires dans le terminal. Utilisez / pour filtrer les métriques de run et \ pour filtrer les métriques système. Appuyez sur ctrl+/ pour effacer le filtre des métriques et sur ctrl+\ pour effacer le filtre des métriques système. Cliquez sur un graphique ou déplacez le focus avec w, a, s, d ou les touches fléchées. Utilisez N ou pgup pour la page précédente, n ou pgdown pour la page suivante, et home ou end pour aller à la première ou à la dernière page. Appuyez sur y lorsqu’un graphique a le focus pour faire défiler les modes d’affichage du graphique :
  • Les graphiques de métriques de run basculent l’axe Y en échelle logarithmique lorsque le graphique contient des données positives.
  • Les graphiques de métriques système basculent l’axe Y en échelle logarithmique.
  • Les graphiques de métriques système basées sur des pourcentages peuvent aussi passer en mode carte thermique par compartiments.
Utilisez la molette de la souris pour zoomer sur le graphique ayant le focus. Sur les graphiques de métriques système en direct, LEET utilise par défaut une fenêtre glissante sur les données les plus récentes, de 10 minutes par défaut. Un zoom arrière affiche davantage d’historique. Faites un clic droit et faites glisser sur un graphique pour inspecter le point le plus proche. Maintenez alt enfoncé tout en faisant un clic droit et en faisant glisser pour inspecter tous les graphiques visibles à la même position X.

Volet multimédia

Le volet multimédia affiche les données wandb.Image sous forme de miniatures ANSI directement dans le terminal. Il est disponible à la fois dans les vues Workspace et de run unique. Ouvrez ou fermez le volet multimédia avec 3. Lorsque le volet multimédia est actif :
  • w, a, s, d déplacent la sélection entre les vignettes multimédias.
  • Les touches fléchées font défiler la série multimédia sélectionnée le long de l’axe X.
  • up et down font défiler par étapes plus importantes.
  • home et end font défiler jusqu’à la première image ou à la plus récente.
  • pgup et pgdown passent d’une page multimédia à l’autre.
  • enter bascule en mode plein écran.
  • esc quitte le mode plein écran.
Vue de l’espace de travail W&B LEET avec le volet multimédia affichant plusieurs séries d’images.

Journaux de la console

Ouvrez ou fermez le volet des journaux de la console avec 4. Le volet affiche la sortie de console du run ouvert dans la vue d’un seul run, ou du run en surbrillance dans la vue de l’espace de travail. LEET recompose la sortie brute du terminal en lignes de journal lisibles, y compris lorsqu’elle contient des codes d’échappement ANSI, des lignes incomplètes et des retours chariot.

Aperçu du run

Le panneau latéral d’aperçu du run affiche les métadonnées du run et les valeurs enregistrées :
  • État, ID du run, nom d’affichage, projet, tags et notes.
  • Valeurs de l’environnement.
  • Valeurs de configuration.
  • Valeurs de synthèse.
Appuyez sur o pour filtrer les éléments de l’aperçu. Appuyez sur ctrl+o pour effacer le filtre de l’aperçu.

Couverture des métriques système

Le volet des métriques système et SYMON peuvent afficher les métriques de l’hôte et des accélérateurs lorsque ces métriques sont disponibles à partir du fichier local du run ou de l’échantillonneur en temps réel. Les définitions de graphiques prises en charge incluent :
  • CPU, CPU par cœur, utilisation des P-cores et E-cores Apple, fréquence du CPU, température du CPU et puissance du CPU.
  • RAM, swap, mémoire du processus, CPU du processus, nombre de threads du processus.
  • Utilisation du disque et E/S disque.
  • Débit réseau en réception et en transmission.
  • Utilisation du GPU NVIDIA, mémoire, puissance, température, fréquences, erreurs, utilisation de l’encodeur, débit PCIe et NVLink.
  • Métriques NVML GPM sur les GPU NVIDIA Hopper et plus récents pris en charge, y compris l’activité des SM, le taux d’occupation des SM, l’activité des pipelines tensor/FP et l’activité de la DRAM.
  • Taux d’activité des Google TPU, utilisation des Tensor Cores, utilisation de la HBM, taille de la file d’attente HLO, latence de transfert et jauges TPU disponibles uniquement dans le SDK, le cas échéant.
  • Température, fréquence, puissance et utilisation des Graphcore IPU.
  • Métriques d’utilisation et de mémoire d’AWS Trainium et Neuron.

Configuration

Lancez l’éditeur de configuration avec :
LEET stocke la configuration dans wandb-leet.json. Par défaut, le fichier est enregistré à l’emplacement suivant :
Si WANDB_CONFIG_DIR est défini, LEET utilise ce répertoire à la place. L’éditeur de configuration vous permet de modifier :
  • Le mode de démarrage : workspace_latest ou single_run_latest.
  • La taille des grilles pour les vues espace de travail, run unique, média, métriques système et SYMON.
  • Les volets visibles par défaut.
  • Les schémas de couleurs pour les métriques de run, les graphiques run unique par graphique, les graphiques système, les tags de run et les cartes thermiques par bucket.
  • Le mode d’attribution des couleurs : per_series ou per_plot.
  • La fenêtre de suivi en temps réel des métriques système.
  • L’intervalle de heartbeat pour les mises à jour en direct des runs.
Éditeur de configuration LEET de W&B affichant les paramètres de grille, les schémas de couleurs, les paramètres de visibilité et la sélection de palette.
Vous pouvez également redimensionner la grille sélectionnée depuis LEET : Après avoir appuyé sur c ou r, appuyez sur un chiffre de 1 à 9, ou sur esc pour annuler.

Clés de configuration courantes

Les palettes de couleurs disponibles incluent wandb-vibe-10, wandb-vibe-20, sunset-glow, blush-tide, gilded-lagoon, bootstrap-vibe, dusk-shore, clear-signal, traffic-light, viridis, plasma, inferno, magma et cividis. dusk-shore et clear-signal sont des palettes adaptées au daltonisme. Les palettes séquentielles telles que viridis, plasma, inferno, magma, cividis et traffic-light conviennent bien aux cartes thermiques par compartiments.

Raccourcis clavier

Appuyez sur h ou ? dans LEET pour ouvrir l’écran d’aide de l’application. Les raccourcis varient légèrement selon la vue.

Espace de travail

Run unique

SYMON

Souris

Journal des modifications

Le tableau suivant résume les modifications de LEET par version. Pour plus de détails, voir les notes de version GitHub.