llm-obs-experiment-py-bootstrap
Ce skill fait partie de la suite dd-llmo du repository datadog-labs/agent-skills, qui regroupe l'ensemble des skills Datadog pour agents IA (Claude Code, Codex CLI, Gemini CLI, Cursor, etc.). Son rôle est de générer automatiquement un fichier d'expérimentation Python autonome utilisant le SDK officiel ddtrace.llmobs de Datadog, prêt à l'emploi dès la sortie.
Ce que fait ce skill
Lorsqu'il est invoqué (via /llm-obs-experiment-py-bootstrap), le skill produit soit un script .py, soit un notebook Jupyter .ipynb structuré en huit sections canoniques : configuration de l'environnement, activation de LLMObs, définition du dataset, fonction de tâche (placeholder OpenAI), évaluateurs, création de l'expérience, exécution, et inspection des résultats. Le code généré suit fidèlement les patterns des notebooks de référence Datadog disponibles sur le dépôt DataDog/llm-observability.
Le skill gère plusieurs sources de données en entrée : records JSON inline, fichier CSV local via create_dataset_from_csv, ou dataset existant dans Datadog récupéré à l'exécution via LLMObs.pull_dataset. Il supporte trois styles d'évaluateurs (function, class, remote) et applique automatiquement un scrubbing PII sur les données locales avant de les intégrer dans le fichier généré.
Comment l'utiliser
Après avoir copié le dossier dd-llmo/llm-obs-experiment-py-bootstrap dans ~/.claude/skills, le skill s'invoque avec des arguments optionnels (--format, --dataset, --dataset-name, --evaluator-style, --jobs, --output, --project-name). Tous les arguments ont des valeurs par défaut raisonnables : sans aucun argument, le skill génère un script .py avec trois records d'exemple inline, directement exécutable. Le skill nécessite la configuration du MCP LLMO (datadog-llmo-mcp) tel que décrit dans le README du repository parent.