Étiquetage automatique CDF

Utilise cette compétence quand un utilisateur souhaite lancer l'étiquetage automatique CDF sur ses propres données, domaine ou cas d'usage, ou quand la demande correspond à un cookbook, stage, authoring ou migration livré. C'est un routeur : ordonnance les références spécialisées au lieu de dupliquer leurs détails.

Routage (Lire en premier)

Références de stages : super-resolution, detection-and-tracking, captioning, visual-qa, reasoning, person-attribute-search, grounding-2d, referring-expressions, training-export.

Instructions

1. Confirme les entrées critiques d'exécution avec l'utilisateur avant toute autre chose, et pose une question concise chaque fois qu'une entrée est manquante ou ambiguë - ne fais jamais de suppositions ou n'invente pas silencieusement une valeur par défaut. Confirme au minimum : chemin des données d'entrée, chemin de sortie, URLs des endpoints VLM/LLM et noms de modèles, chemin du cache de modèle, ids GPU, et (pour les modèles capables de raisonnement) le plafond max_tokens. Énonce les valeurs confirmées en retour à l'utilisateur avant la première exécution.
2. Vérifie l'environnement : dépôt cloné, cibles make disponibles, chemin du cache de modèle existant, endpoints VLM/LLM accessibles, et GPU disponible. Énonce tout prérequis manquant comme un bloqueur au lieu de le supposer. Si les images de stage ne sont pas présentes localement, propose d'extraire les images préconçues d'NGC avec make pull au lieu de les construire. Utilise ngc-containers.
3. Exécute d'abord un exemple livré pour confirmer que la pile fonctionne de bout en bout avant de personnaliser. Choisis le pipeline d'opérateur le plus proche - augmentation de données vidéo, event-and-person-attribute-search, ou event-verification-reasoning - et exécute son cookbook commité. Utilise la référence d'opérateur correspondante.
4. Planifie le scénario cible : définissez la modalité, le domaine, le consommateur prévu, et les annotations requises, et obtiens un sous-ensemble de stage minimal. Utilise scenario-planning.
5. Adapte le cookbook livré le plus proche au nouveau domaine plutôt que d'en créer un à partir de zéro. Utilise cookbook-authoring.
6. Crée les prompts et banques de questions du domaine. Utilise prompt-authoring.
7. Configure les paramètres par stage pour le domaine (classes de détecteur ou prompts SAM3, endpoints, windowing, max_tokens). Utilise la référence de stage pertinente, en commençant par detection-and-tracking.
8. Exécute l'essai du cookbook adapté, puis exécute et valide les sorties. Utilise workflow-runner-debugging.

L'adoption d'un dépôt d'annotation externe existant ou de génération de dataset dans CDF au lieu de commencer par un cookbook livré est une tâche de migration ; utilise pipeline-migration pour ce chemin.

Exemples

Nouvel utilisateur, nouveau domaine : « J'ai cloné le dépôt et j'ai ma propre vidéo de sécurité d'entrepôt. Comment produire des étiquettes automatiques pour mon domaine ? »

Chemin guidé :

• Confirme l'env (cache de modèle, endpoints VLM/LLM, GPU), puis prouve la pile sur un exemple livré avant de personnaliser :

make run SCRIPT=workflow-runner:main \
  ARGS='--cookbook-file cookbooks/video_data_augmentation/configs/pipeline_video.yaml --container-dry-run'

• Planifie le domaine (scenario-planning) -> sous-ensemble detection_and_tracking -> captioning -> visual_qa -> reasoning -> training_export (ajoute grounding_2d pour caption→boxes ou referring_expressions pour boxes→phrases ; utilise grounding-2d / referring-expressions).
• Copie le cookbook le plus proche vers cookbooks/warehouse_safety/configs/pipeline.yaml et adapte les entrées, classes de détecteur/prompts SAM3, prompts, et banques de questions.
• Exécute l'essai du nouveau cookbook, puis exécute pour de vrai et valide les sorties :

make run SCRIPT=workflow-runner:main \
  ARGS='--cookbook-file cookbooks/warehouse_safety/configs/pipeline.yaml --container-dry-run'

Garde-fous

• Ne fais pas de suppositions ou ne fabrique les entrées critiques énumérées à l'étape 1 ; si l'une d'elles est manquante ou ambiguë, demande à l'utilisateur et confirme avant d'exécuter.
• Ne personnalise pas un cookbook avant qu'un exemple livré fonctionne correctement ; une base cassée rend le débogage de domaine ambigu.
• Garde le premier pipeline personnalisé minimal - seulement les stages nécessaires pour les annotations demandées - et élargis plus tard.
• Vérifie que le package de service et l'image de chaque stage sélectionné existent dans la branche actuelle avant de promettre une exécution de bout en bout.
• Ne mets pas de secrets, tokens, ou chemins d'accueil absolus dans les cookbooks commités ; utilise des espaces réservés comme <model-cache> et des variables d'env pour les clés d'endpoint.
• Pour les modèles capables de raisonnement (par exemple Gemini 3 Flash), augmente max_tokens sur les sous-stages LLM visual_qa et reasoning pour éviter le coût des tokens de réflexion ; garde le plafond par défaut pour les modèles non-reasoning.
• Ne t'appuie pas sur les pipelines, commandes, ou emplacements de fichiers non-CDF. Une première exécution doit être reproductible via workflow-runner:main dans ce dépôt.