!pip install datasets wandb weave
python
# Initialiser les variables
HUGGINGFACE_DATASET = "wandb/ragbench-test-sample"
WANDB_KEY = ""
WEAVE_TEAM = ""
WEAVE_PROJECT = ""

# Initialiser weave et les bibliothèques requises
import asyncio

import nest_asyncio
import wandb
from datasets import load_dataset

import weave
from weave import Evaluation

# Se connecter à wandb et initialiser weave
wandb.login(key=WANDB_KEY)
client = weave.init(f"{WEAVE_TEAM}/{WEAVE_PROJECT}")

# Appliquer nest_asyncio pour autoriser les boucles d'événements imbriquées (nécessaire dans certains environnements notebook)
nest_asyncio.apply()

# Charger le jeu de données HuggingFace
ds = load_dataset(HUGGINGFACE_DATASET)
row_count = ds["train"].num_rows

# Créer un mappage d'index pour le jeu de données
# Ceci crée une liste de dicts avec les indices du jeu de données HF
# Exemple : [{"hf_id": 0}, {"hf_id": 1}, {"hf_id": 2}, ...]
hf_index = [{"hf_id": i, "hf_hub_name": HUGGINGFACE_DATASET} for i in range(row_count)]

@weave.op()
def preprocess_example(example):
    """
    Prétraite chaque exemple avant l'évaluation.
    Args:
        example: Dict contenant hf_id
    Returns:
        Dict contenant le prompt du jeu de données HF
    """
    hf_row = ds["train"][example["hf_id"]]
    return {"prompt": hf_row["question"], "answer": hf_row["response"]}

@weave.op()
def hf_eval(hf_id: int, output: dict) -> dict:
    """
    Fonction de scoring pour évaluer les sorties du modèle.
    Args:
        hf_id: Index dans le jeu de données HF
        output: La sortie du modèle à évaluer
    Returns:
        Dict contenant les scores d'évaluation
    """
    hf_row = ds["train"][hf_id]
    return {"scorer_value": True}

@weave.op()
def function_to_evaluate(prompt: str):
    """
    La fonction qui sera évaluée (par exemple, votre modèle ou pipeline).
    Args:
        prompt: Prompt d'entrée issu du jeu de données
    Returns:
        Dict contenant la sortie du modèle
    """
    return {"generated_text": "testing "}

# Créer l'objet d'évaluation
evaluation = Evaluation(
    dataset=hf_index,  # Utiliser notre mappage d'index
    scorers=[hf_eval],  # Liste des fonctions de scoring
    preprocess_model_input=preprocess_example,  # Fonction pour préparer les entrées
)

# Exécuter l'évaluation de façon asynchrone
async def main():
    await evaluation.evaluate(function_to_evaluate)

asyncio.run(main())