Configuration d'Expérience LaunchDarkly

Vous utilisez une skill qui vous guidera dans la configuration et l'exécution d'expériences dans LaunchDarkly. Votre travail consiste à concevoir l'expérience, la créer avec les bonnes métriques et traitements, démarrer la collecte de données et vérifier qu'elle fonctionne.

Prérequis

Cette skill nécessite que le serveur MCP LaunchDarkly hébergé à distance soit configuré dans votre environnement.

Outils MCP requis:

• create-experiment -- créer une nouvelle expérience avec métriques et traitements
• start-experiment-iteration -- commencer à collecter des données pour l'expérience
• get-experiment -- vérifier le statut et la configuration de l'expérience

Outils MCP optionnels:

• list-experiments -- parcourir les expériences existantes du projet
• update-experiment -- modifier le nom ou la description de l'expérience
• create-metric -- créer des métriques si elles n'existent pas encore
• list-metrics -- parcourir les métriques disponibles

Concepts Clés

Qu'est-ce que les Expériences?

Les expériences dans LaunchDarkly vous permettent de mesurer l'impact des variations de feature flags sur les métriques clés. Une expérience comprend:

• Traitements: Les variations de flag comparées (contrôle vs test)
• Métriques: Ce que vous mesurez (taux de conversion, latence, revenu, etc.)
• Itérations: Périodes de collecte de données — démarrez une itération pour commencer à collecter des données
• Holdout (optionnel): Un pourcentage du trafic exclu de l'expérience pour la mesure de baseline

Cycle de Vie de l'Expérience

1. Créer l'expérience avec métriques et traitements
2. Démarrer une itération pour commencer la collecte de données
3. Surveiller les résultats au fur et à mesure que les données s'accumulent
4. Arrêter l'itération quand vous avez une significativité statistique
5. Déployer la variation gagnante

Principes Clés

1. Métriques en Premier: Assurez-vous que vos métriques existent avant de créer l'expérience
2. Hypothèse Claire: Sachez ce que vous vous attendez à améliorer et de combien
3. Contrôles Appropriés: Incluez toujours un traitement de contrôle (le comportement actuel)
4. Taille d'Échantillon Suffisante: Laissez les expériences s'exécuter assez longtemps pour avoir une significativité statistique
5. Un Changement à la Fois: Testez une seule variable par expérience pour une attribution claire

Flux de Travail

Étape 1: Préparer les Métriques

Avant de créer une expérience, assurez-vous que les métriques que vous souhaitez mesurer existent:

1. Utilisez list-metrics pour vérifier les métriques existantes
2. Si nécessaire, utilisez create-metric pour en créer de nouvelles
3. Notez les clés de métrique — vous en aurez besoin pour l'expérience

Types de métriques courants: | Objectif | Type de Métrique | Exemple | |----------|------------------|---------| | Conversion | Custom conversion | checkout-completed | | Performance | Custom numeric | page-load-time-ms | | Engagement | Custom conversion | feature-clicked | | Revenu | Custom numeric | order-value |

Étape 2: Créer l'Expérience

Utilisez create-experiment avec:

• projectKey et environmentKey -- où exécuter l'expérience
• name -- nom descriptif de l'expérience
• flagKey -- le feature flag expérimenté
• metrics -- tableau d'objets métrique avec les champs key et isGroup
• treatments -- tableau de traitements, chacun avec un name, un drapeau baseline et des parameters
• holdout (optionnel) -- pourcentage du trafic à exclure

{
  "projectKey": "my-project",
  "environmentKey": "production",
  "name": "Checkout Flow v2 Experiment",
  "flagKey": "checkout-flow-v2",
  "metrics": [
    {"key": "checkout-completed", "isGroup": false},
    {"key": "checkout-time-seconds", "isGroup": false}
  ],
  "treatments": [
    {
      "name": "Control",
      "baseline": true,
      "parameters": {
        "flagKey": "checkout-flow-v2",
        "variationId": "variation-a-id"
      }
    },
    {
      "name": "New Checkout",
      "baseline": false,
      "parameters": {
        "flagKey": "checkout-flow-v2",
        "variationId": "variation-b-id"
      }
    }
  ]
}

Étape 3: Démarrer la Collecte de Données

Utilisez start-experiment-iteration pour commencer à collecter des données:

{
  "projectKey": "my-project",
  "environmentKey": "production",
  "experimentKey": "checkout-flow-v2-experiment"
}

Vous pouvez optionnellement définir reshuffle: true pour redistribuer le trafic entre les traitements.

Étape 4: Vérifier

1. Utilisez get-experiment pour confirmer que l'expérience s'exécute
2. Vérifiez que tous les traitements sont listés correctement
3. Vérifiez que les métriques sont attachées
4. Confirmez que le statut d'itération s'affiche comme actif

Signaler les résultats:

• Expérience créée et itération démarrée
• N traitements avec M métriques configurées
• La collecte de données est active

Cas Limites

Ce qu'il NE FAUT PAS Faire

• Ne démarrez pas une expérience sans métriques clairement définies
• N'arrêtez pas les expériences trop tôt — attendez la significativité statistique
• Ne lancez pas plusieurs expériences sur le même flag simultanément sans conception soignée du holdout
• N'oubliez pas de définir un traitement baseline — un traitement doit être marqué baseline: true