setting-up-regression-runs

Par bitwarden · ai-plugins

À utiliser lors de la mise en place des runs de régression manuelle QA pour une release Bitwarden dans Testmo — par exemple : « configurer les runs de régression pour la 2026.8.0 », « créer la suite de régression pour une release partielle », « créer les runs de régression complète pour ce milestone ». Sélectionne le profil de release (partiel ou complet), applique les exclusions spécifiques à la release, et transmet les specs livrées par le profil au skill bitwarden-testmo-tools creating-test-runs. Ne pas utiliser pour un run Testmo ponctuel hors release (utiliser creating-test-runs directement) ni pour rédiger des cas de test.

npx skills add https://github.com/bitwarden/ai-plugins --skill setting-up-regression-runs

Configuration des exécutions de régression

La suite de régression manuelle de Bitwarden pour une version est un ensemble fixe d'exécutions Testmo, une par spec dans specs/, toutes liées au milestone de la version. Cette skill décide quelles specs une version doit avoir ; Skill(bitwarden-testmo-tools:creating-test-runs) les crée. Si cette skill n'est pas disponible, arrête-toi et demande à l'utilisateur d'installer bitwarden-testmo-tools.

Profils de version

release-profiles.json liste chaque spec dans chaque profil :

  • partial — Web (Password Manager, Admin Console, Admin Portal / SM / Providers), Old Client / New Server, Mobile (iOS, Android), et Directory Connector (BWDC).
  • full — les mêmes exécutions Web, Old Client / New Server, et Mobile, plus CLI, 3 variantes de configuration Desktop et 4 Extension. Pas de BWDC.

full n'est pas un sur-ensemble de partial. Utilise exactement la liste du fichier.

Workflow

  1. Collecte les entrées de l'utilisateur : le profil (partial ou full), le nom exact du milestone (p. ex. 2026.8.0 Manual Regression), et toute spec à ignorer cette version. Demande ce qui manque.
  2. Confirme que le milestone existe. L'utilisateur le crée dans l'interface Testmo — l'API ne peut pas. Les versions utilisent un parent YYYY.M.0 Release avec des enfants … Manual Regression et … Automated Regression ; les exécutions de régression manuelle se lient à l'enfant … Manual Regression.
  3. Construis la liste des specs. Lis le profil depuis release-profiles.json et supprime toute spec ignorée. Un nom que l'utilisateur demande d'ignorer et qui n'est pas dans le profil est une faute de frappe — arrête-toi et demande plutôt que de continuer. Transforme chaque nom restant en ${CLAUDE_PLUGIN_ROOT}/skills/setting-up-regression-runs/specs/<name>.json, écrit comme chemin absolu littéral. Ne passe jamais ${CLAUDE_PLUGIN_ROOT} lui-même à creating-test-runs — dans cette skill il désigne la racine de bitwarden-testmo-tools, pas celle de ce plugin.
  4. Fais passer. Invoque Skill(bitwarden-testmo-tools:creating-test-runs) et suis-la, en passant chaque chemin de spec comme son propre --spec et le milestone comme --milestone-name. Cette skill gère la dry-run, la révision par l'utilisateur, et --create — ne lance jamais la dry-run et --create dans le même tour.
  5. Termine les exécutions multi-configuration. Chaque exécution Mobile, Desktop, et Extension a besoin d'une passe Testmo UI manuelle après création (full en a les trois ; partial seulement Mobile). Dis à l'utilisateur quelles exécutions en ont encore besoin, en utilisant references/regression-configurations.md et le _comment de chaque spec.

Pour ajouter une exécution manquante d'un milestone déjà peuplé, passe seulement cette spec — la vérification de doublons par exécution du script laisse les exécutions existantes intactes.

Modifier la suite

Les specs et profils ici sont livrés dans le plugin ; les modifications dans la copie installée sont écrasées par /plugin update. Si une spec est ignorée à chaque cycle, ou si une nouvelle exécution rejoint la suite, modifie specs/ et release-profiles.json dans une PR à bitwarden/ai-plugins.

Les comptages de cas dérivent à mesure que le repository change. Compare chaque dry-run par rapport au cycle précédent ; un grand écart signifie généralement un dossier ou tag renommé.

Skills similaires