agent-observability-session-classify
Ce skill est un composant opérationnel complet du repo public datadog-labs/agent-skills, dédié à l'évaluation de la satisfaction utilisateur dans les sessions et traces Datadog Agent Observability. Contrairement à un simple squelette, il embarque une logique de classification détaillée couvrant trois modes d'entrée : session_id (une session CMD+I avec signaux RUM), trace_id (une trace Agent Observability sans RUM), et ml_app (échantillonnage et classification en lot de plusieurs sessions ou traces pour une application LLM donnée).
Ce que fait ce skill
Pour chaque unité analysée, le skill produit un verdict de satisfaction (yes / partial / no) accompagné d'une justification concise. Il s'appuie sur une cascade de récupération de contenu (agent loop → spans LLM enfants → métadonnées root span → signaux structurels), des signaux comportementaux RUM (actions utilisateur, navigation pré/post-session, dwell time) et, le cas échéant, l'audit trail Datadog pour confirmer les effets côté serveur des actions de l'assistant (créations, modifications ou suppressions d'assets). Le skill supporte deux backends interchangeables : le serveur MCP Datadog (datadog-llmo-mcp) ou la CLI pup, avec détection automatique au démarrage de chaque invocation.
Intégration dans le pipeline Agent Observability
Ce skill s'inscrit dans un ensemble de six skills Agent Observability du repo. Il peut être utilisé de manière autonome pour évaluer des sessions individuelles, ou servir de première étape du pipeline agent-observability-eval-pipeline, qui enchaîne classification → RCA (agent-observability-trace-rca) → génération d'évaluateurs (agent-observability-eval-bootstrap). En mode ml_app, le tableau de synthèse émis (dont le marqueur # Session Classification Summary) est reconnu comme sentinel par les skills aval.
Prérequis et installation
Le skill nécessite le serveur MCP datadog-llmo-mcp (toolsets llmobs et rum) ou la CLI pup authentifiée via pup auth login. L'installation se fait en copiant le dossier dans ~/.claude/skills ou via npx skills add datadog-labs/agent-skills --skill agent-observability-session-classify. Aucune configuration supplémentaire n'est requise si l'un des deux backends est disponible ; en l'absence des deux, le skill indique explicitement les étapes pour les activer.