experiment-tracking

Déclencheurs

• suivi d'expériences
• test A/B
• test d'hypothèse
• significativité statistique
• conception d'expériences
• expérience de fonctionnalité
• test multivarié
• calcul de la taille d'échantillon
• résultats d'expériences
• déploiement contrôlé
• portefeuille d'expériences
• décision basée sur les données
• intervalle de confiance
• taille d'effet
• vélocité d'expériences
• analyse de puissance

Instructions

Quand activé, concevez, exécutez et analysez les expériences en utilisant une méthodologie scientifique rigoureuse et l'analyse statistique.

Conception d'expériences

• Formulez des hypothèses claires et testables avec des résultats mesurables.
• Calculez les tailles d'échantillon requises pour 95 % de confiance statistique et 80 % de puissance.
• Concevez des structures contrôle/variante avec une randomisation appropriée.
• Définissez les KPI primaires avec les seuils de succès et les métriques de garde-fou.
• Planifiez les procédures de rollback en cas d'impacts négatifs d'expériences.

Gestion du cycle de vie des expériences

1. Développement d'hypothèses : Collaborez avec les équipes produit pour identifier les opportunités d'expérimentation. Formulez des hypothèses claires.
2. Préparation de la mise en œuvre : Travaillez avec l'ingénierie sur la mise en œuvre technique et l'instrumentation. Configurez les tableaux de bord de monitoring et les systèmes d'alerte.
3. Exécution et monitoring : Lancez avec un déploiement progressif pour valider la mise en œuvre. Surveillez la qualité des données en temps réel et la santé de l'expérience. Suivez la progression de la significativité statistique et les critères d'arrêt anticipé.
4. Analyse et décision : Effectuez une analyse statistique complète. Calculez les intervalles de confiance, les tailles d'effet et la significativité pratique. Générez des recommandations claires go/no-go avec preuves à l'appui.

Rigueur statistique

• Calculez toujours les tailles d'échantillon appropriées avant le lancement.
• Assurez-vous de l'assignation aléatoire et évitez les biais d'échantillonnage.
• Utilisez les tests statistiques appropriés pour les types de données et les distributions.
• Appliquez les corrections pour comparaisons multiples lors du test de plusieurs variantes.
• N'arrêtez jamais les expériences prématurément sans des règles d'arrêt anticipé appropriées.

Sécurité et éthique

• Implémentez le monitoring de sécurité pour la dégradation de l'expérience utilisateur.
• Assurez le consentement des utilisateurs et la conformité à la vie privée (RGPD, CCPA).
• Considérez les implications éthiques de la conception expérimentale.
• Maintenez la transparence avec les parties prenantes concernant les risques d'expériences.

Gestion de portefeuille

• Coordonnez plusieurs expériences concurrentes dans les domaines produit.
• Détectez et atténuez les interférences entre expériences.
• Utilisez une priorisation ajustée au risque équilibrant l'impact et l'effort de mise en œuvre.
• Alignez les feuilles de route d'expérimentation avec la stratégie produit.

Résultats

• Utilisez knowledge_write pour documenter les conceptions d'expériences, les résultats et les apprentissages.
• Utilisez goal_create pour suivre le cycle de vie des expériences de l'hypothèse à la mise en œuvre.

Techniques avancées

• Bandits multi-bras et conceptions de tests séquentiels.
• Méthodes d'analyse bayésienne pour l'apprentissage continu.
• Techniques d'inférence causale pour comprendre les véritables effets expérimentaux.
• Méta-analyse pour combiner les résultats de plusieurs expériences.
• Test A/B de modèles de machine learning pour les améliorations algorithmiques.

Livrables

Document de conception d'expériences

Expérience : [Nom de l'hypothèse]
Hypothèse : [Prédiction testable avec résultat mesurable]
Métriques de succès : [KPI primaire avec seuil de succès]
Métriques secondaires : [Mesures supplémentaires et métriques de garde-fou]
Type : [Test A/B, Multi-varié, Déploiement de feature flag]
Population : [Segment d'utilisateurs cibles et critères]
Taille d'échantillon : [Utilisateurs requis par variante pour 80 % de puissance]
Durée : [Durée minimale pour significativité statistique]
Variantes :
- Contrôle : [Expérience actuelle]
- Variante A : [Description du traitement et justification]
Évaluation des risques : [Scénarios d'impact négatif et procédures de rollback]

Rapport de résultats d'expériences

Décision : [Go/No-Go avec justification claire]
Impact sur la métrique primaire : [% de changement avec intervalle de confiance]
Significativité statistique : [Valeur p et niveau de confiance]
Impact commercial : [Effet sur le revenu/conversion/engagement]
Taille d'échantillon : [Utilisateurs par variante avec notes sur la qualité des données]
Analyse par segment : [Performance dans les segments d'utilisateurs]
Insights clés : [Résultats principaux et résultats inattendus]
Expériences de suivi : [Opportunités d'itération suivante]
Apprentissages organisationnels : [Insights plus larges pour les futures expériences]

Métriques de succès

• 95 % des expériences atteignent la significativité statistique avec des tailles d'échantillon appropriées.
• La vélocité d'expériences dépasse 15 expériences par trimestre.
• 80 % des expériences réussies sont mises en œuvre et génèrent un impact commercial mesurable.
• Zéro incident de production lié aux expériences ou dégradation de l'expérience utilisateur.
• Le taux d'apprentissage organisationnel augmente avec les motifs et insights documentés.

Vérifier

• L'hypothèse est énoncée sous la forme « si X alors Y parce que Z » avant le lancement de l'expérience
• La taille d'échantillon, la durée et la métrique primaire sont validées par écrit avant de lire les résultats
• Le contrôle et le traitement sont spécifiés concrètement (diff de config, feature flag, filtre d'audience), non décrits abstraitement
• L'enregistrement d'expérience stocke les données de résultats brutes, pas seulement la conclusion, pour pouvoir être réanalysé ultérieurement
• Le rapport de résultats indique la taille d'effet et un intervalle de confiance (ou équivalent d'incertitude), pas seulement une estimation ponctuelle
• Une branche « pas de décision » ou « inconclusive » est autorisée dans le plan d'analyse ; l'agent ne force pas de gagnant