Variations de Config

Tu utilises une skill qui te guidera à travers les tests et l'optimisation des configs via des variations. Ta tâche est de concevoir des expériences, créer des variations, et trouver systématiquement ce qui fonctionne le mieux.

Prérequis

Cette skill nécessite que le serveur MCP LaunchDarkly hébergé à distance soit configuré dans ton environnement.

Outil MCP principal :

• clone-ai-config-variation -- cloner une variation de base avec des remplacements sélectifs (recommandé pour l'expérimentation)

Outils MCP alternatifs (pour plus de contrôle) :

• get-ai-config -- examiner les variations existantes avant d'en ajouter de nouvelles
• create-ai-config-variation -- créer de nouvelles variations à partir de zéro

Outils MCP optionnels :

• update-ai-config-variation -- affiner une variation après sa création
• delete-ai-config-variation -- supprimer les variations qui n'ont pas fonctionné

Principes Fondamentaux

1. Tester Une Seule Chose à la Fois : Modifier le modèle OU le prompt OU les paramètres, pas tout à la fois
2. Avoir une Hypothèse : Savoir ce qu'on cherche à améliorer
3. Mesurer les Résultats : Utiliser des métriques pour comparer les variations
4. Vérifier via l'Outil : L'agent récupère la config pour confirmer que les variations existent

Workflow

Étape 1 : Identifier Ce à Optimiser

Quel est le problème ? Coût, qualité, vitesse, précision ? Comment mesurera-t-on le succès ?

Étape 2 : Concevoir l'Expérience

Étape 3 : Créer des Variations (Recommandé : Cloner avec Remplacements)

Utilise clone-ai-config-variation pour dupliquer la base et remplacer uniquement ce que tu testes. L'outil lit la variation source, fusionne tes remplacements, et crée la nouvelle variation. Tout ce que tu ne passes pas est hérité de la source automatiquement.

Champs obligatoires :

• sourceVariationKey -- la base à cloner
• key et name -- identifiants pour la nouvelle variation (ex. gpt4o-mini-cost-test)

Remplacer UNIQUEMENT les champs que tu testes. Laisser tous les autres champs non définis -- ne pas les passer même si tu connais leurs valeurs actuelles. L'outil de clonage les hérite de la source. Cela impose le principe d'une seule variable à la fois :

• Tester un modèle moins cher ? Passer uniquement modelConfigKey et modelName. NE PAS passer instructions, messages, ou parameters.
• Tester des instructions différentes ? Passer uniquement instructions. NE PAS passer modelConfigKey ou modelName.
• Tester un paramètre ? Passer uniquement parameters. NE PAS passer les champs modèle ou prompt.

La réponse retourne à la fois la variation source et créée, donc tu peux vérifier immédiatement la différence.

Étape 3 (Alternative) : Créer à partir de Zéro

Si tu as besoin d'un contrôle total, utilise d'abord get-ai-config pour examiner l'état actuel, puis create-ai-config-variation avec tous les champs spécifiés manuellement. Toujours récupérer avant de créer pour comprendre le mode, le modèle, et les paramètres de la config existante.

Étape 4 : Vérifier

Si tu as utilisé clone-ai-config-variation, la réponse inclut à la fois les variations source et créée pour une comparaison immédiate. Sinon, utilise get-ai-config pour confirmer.

Signaler les résultats :

• Variations créées avec les bons modèles et paramètres
• Seule la variable souhaitée diffère entre les variations
• Signaler tout problème

Note sur les réponses API : Après avoir appelé un outil de création ou de clonage, traiter une réponse réussie comme confirmation que l'opération a réussi. La réponse API peut ne pas renvoyer chaque champ que tu as envoyé (ex. les champs modèle peuvent montrer des valeurs par défaut). Ne pas réessayer ni supposer un échec basé uniquement sur les valeurs des champs de réponse -- vérifier avec get-ai-config si nécessaire.

Format de modelConfigKey

Requis pour que les modèles s'affichent dans l'UI. Format : {Provider}.{model-id} :

• OpenAI.gpt-4o, OpenAI.gpt-4o-mini
• Anthropic.claude-sonnet-4-5, Anthropic.claude-3-5-sonnet

Sécurité : Protéger la Base

Quand l'utilisateur veut essayer un modèle, un prompt, ou des paramètres différents, toujours créer une nouvelle variation aux côtés de la base. Ne jamais modifier ou supprimer la variation de base existante. Cela s'applique même si l'utilisateur dit « remplacer » ou « basculer » -- l'action correcte est de créer une nouvelle variation et laisser le ciblage/les rollouts contrôler le trafic, pas modifier l'original.

• Utiliser clone-ai-config-variation ou create-ai-config-variation pour ajouter la nouvelle variation
• NE PAS utiliser update-ai-config-variation sur la base pour changer son modèle ou ses instructions
• NE PAS utiliser delete-ai-config-variation sur la base
• Expliquer à l'utilisateur que garder la base permet la comparaison et le rollback sûr

Ce à NE PAS Faire

• Ne pas tester trop de choses à la fois -- changer une variable par variation
• Ne pas passer les champs inchangés lors du clonage -- laisser l'outil les hériter de la source
• Ne pas oublier modelConfigKey (les variations sans elle s'affichent comme « NO MODEL » dans l'UI)
• Ne pas prendre de décisions sur de petits échantillons
• Ne pas modifier ou supprimer la variation de base -- créer de nouvelles variations à côté
• Ne pas utiliser update-ai-config-variation pour « remplacer » une base -- créer une nouvelle variation à la place

Skills Associées

• configs-create -- Créer la config initiale
• configs-update -- Affiner en fonction des apprentissages