n8n:create-agent-builder-eval

Rôle du skill

Ce skill guide Claude dans la création d'évaluations (« evals ») ciblant le module Agent Builder de n8n, accessible via packages/cli/src/modules/agents. Il s'active lorsqu'un changement affecte le routage de construction d'agents, la sélection de modèles ou de credentials, les outils, les serveurs MCP, ou les réponses visibles par l'utilisateur lors d'un build d'agent.

Contexte dans le repo n8n

n8n est une plateforme d'automatisation fair-code avec des capacités IA natives. Le package @n8n/instance-ai embarque un harnais d'évaluation partagé permettant de vérifier le comportement de l'IA intégrée (Instance AI) lors de la construction d'agents autonomes via l'Agent Builder. Ce skill s'appuie sur ce harnais et sur LangTracer comme source de vérité durable pour les cas d'évaluation.

Ce que fait ce skill

Ce skill fournit à Claude un protocole complet et non négociable pour :

• Vérifier en amont la présence des variables d'environnement LangTracer (LANGTRACER_URL, LANGTRACER_API_KEY) avant toute rédaction.
• Rédiger un cas d'évaluation JSON minimal dans packages/@n8n/instance-ai/evaluations/data/agents/<slug>.json, avec les champs processExpectations, outcomeExpectations, datasets: ["agents"] et les credentials nécessaires.
• Valider et exécuter le cas localement via pnpm eval:instance-ai avant publication.
• Calibrer la stabilité du cas (minimum 5 itérations) puis le publier dans la suite LangTracer Instance AI capabilities — agents (slug agents) sans committer le JSON local.
• S'assurer que la CI sélectionne bien la suite agents pour les PRs touchant le module agents.

Points d'attention importants

Le skill insiste sur plusieurs règles strictes : ne jamais placer un cas Agent dans le répertoire data/workflows/ (même si le runner local l'accepterait), ne jamais affaiblir une expectation pour masquer un vrai défaut, et ne jamais demander à l'utilisateur de coller une clé API dans le chat. Il référence également le skill parent create-instance-ai-eval pour les règles communes de calibration et de forme des cas multi-tours.