Workflow Agentic i4h

Objet

S'orienter sur le workflow agentic avant de toucher à une étape spécifique : quels envs/robots/policies sont supportés, comment les sous-projets workflows/agentic/ s'articulent, et quelle skill par étape invoquer ensuite. Cette skill route — elle n'exécute aucune étape du pipeline elle-même.

Code de base

Ces étapes pilotent le code de base i4h-workflows (l'arborescence workflows/agentic/). Pour réutiliser un checkout existant, définis I4H_WORKFLOWS sur son chemin (aucun clone ne se produit). Sinon, cela résout le repo courant, ou clone vers ~/i4h-workflows — sélectionne ce défaut sans demander. Exécute chaque commande ci-dessous depuis la racine résolue :

# Resolve the i4h-workflows base code (provides workflows/agentic/).
ROOT="${I4H_WORKFLOWS:-$(git rev-parse --show-toplevel 2>/dev/null)}"
if [ ! -d "$ROOT/workflows/agentic" ]; then
  ROOT="${I4H_WORKFLOWS:-$HOME/i4h-workflows}"
  [ -d "$ROOT/workflows/agentic" ] || git clone https://github.com/isaac-for-healthcare/i4h-workflows "$ROOT"
fi
export I4H_WORKFLOWS="$ROOT"; cd "$ROOT"

Bases

Les YAMLs env à workflows/agentic/config/environments/<env>.yaml sont la source de vérité.
Chaque étape du pipeline a sa propre skill. Compose-les ou utilise [[i4h-workflow-e2e]] pour des exécutions complètes.
Pour l'authoring d'env ou les changements de source scene-edit, charge skills/i4h-workflow/references/repo-map.md avant de générer du code.

Envs supportés

Fallback si --list-envs échoue (setup incomplet) :

Env	Robot	Policy
`scissor_pick_and_place`	SO-ARM 101	GR00T N1.5 (alternative N1.7)
`locomanip_tray_pick_and_place`	Unitree G1	GR00T N1.6 (shared `policy.locomanip.*`)
`locomanip_push_cart`	Unitree G1	GR00T N1.6 (shared `policy.locomanip.*`)
`assemble_trocar`	Unitree G1 + Dex hands	GR00T N1.5 (inference-only)
`ultrasound_liver_scan`	Franka-style arm	openpi PI0
`surgical_reach_psm`	dVRK PSM	GR00T N1.5 ou state machine scriptée
`surgical_reach_dual_psm`	dVRK dual PSM	GR00T N1.5 ou state machine scriptée
`surgical_reach_star`	STAR	GR00T N1.5 ou state machine scriptée
`surgical_lift_block`	dVRK PSM	GR00T N1.5 ou state machine scriptée
`surgical_lift_needle`	dVRK PSM	GR00T N1.5 ou state machine scriptée
`surgical_lift_needle_organs`	dVRK PSM	GR00T N1.5 ou state machine scriptée

Exécution

Exécute l'étape ci-dessous avant de répondre. Chaque étape est un appel bash distinct ; les variables persistent dans la session tmux de l'agent local.

Étape 1 — lister les envs supportés

REPO_ROOT="${I4H_WORKFLOWS:-$(git rev-parse --show-toplevel 2>/dev/null)}"; [ -d "$REPO_ROOT/workflows/agentic" ] || REPO_ROOT="$HOME/i4h-workflows"
"${REPO_ROOT}/workflows/agentic/policy/run.sh" --list-envs

Si la commande échoue, utilise le tableau fallback Envs supportés ci-dessus.

Sous-projets

Répertoire	Objet
`workflows/agentic/arena/`	IsaacLab-Arena envs, scènes, tâches, teleop, enregistrement, replay
`workflows/agentic/policy/`	Daemons policy et dispatchers d'entraînement
`workflows/agentic/dataset/`	Conversion HDF5 → LeRobot et visualisation
`workflows/agentic/mimic/`	Expansion de trajectoire HDF5
`workflows/agentic/annotator/`	Labels et filtrage de succès VLM
`workflows/agentic/cosmos/`	Augmentation vidéo Cosmos Transfer optionnelle
`workflows/agentic/common/`	Config partagée, messaging, constantes robots

Index des skills

Skill	Objet
`i4h-workflow-setup`	Installer / synchroniser / vérifier les dépendances tierces
`i4h-workflow-create`	Ajouter un nouvel env
`i4h-workflow-scene-edit`	Éditer une scène / tâche / caméra existante
`i4h-workflow-dataset-teleop`	Enregistrer des démos humaines
`i4h-workflow-dataset-replay`	Rejouer des épisodes HDF5
`i4h-workflow-dataset-mimic`	Étendre les démos HDF5 avec du bruit
`i4h-workflow-dataset-annotate`	Labelliser / filtrer les épisodes avec VLM
`i4h-workflow-dataset-convert`	Convertir HDF5 en LeRobot
`i4h-workflow-finetune`	Entraîner les envs supportés
`i4h-workflow-validate`	Rollout / évaluer les checkpoints policy
`i4h-workflow-e2e`	Exécuter le pipeline complet
`i4h-lerobot-viz`	Ouvrir la visionneuse HTML LeRobot

Prérequis

Pour toute étape pratique, configure d'abord le workflow — voir [[i4h-workflow-setup]] (venvs composants et checkouts tiers présents).
Les YAMLs env à workflows/agentic/config/environments/<env>.yaml sont la source de vérité.

Limitations

Aperçu/routing uniquement — chaque étape du pipeline a sa propre skill ; celle-ci n'effectue aucun enregistrement, entraînement, ou rollout.

Dépannage

Erreur : env non trouvé / non supporté — Cause : typo, env non enregistré, ou setup incomplet. Correctif : exécute workflows/agentic/policy/run.sh --list-envs ; si cela échoue, exécute d'abord [[i4h-workflow-setup]] ; sinon vérifiez le tableau Envs supportés.

Réponse finale

La réponse est incomplète sauf si elle inclut les trois parties ci-dessous, chacune séparée par une ligne vierge. Ne réponds pas avec de la prose seule ou ne combines pas les sections sans espacement.

Orientation — un court paragraphe : YAMLs env, sous-projets, pipeline sim-to-policy.
Envs supportés — titre plus tableau markdown de l'Étape 1 (sortie --list-envs : env, stack, description) ou le tableau fallback Envs supportés.
Skills disponibles — titre plus le tableau complet Index des skills copié dans la réponse.

Puis (après une autre ligne vierge) recommande [[i4h-workflow-setup]] si le setup n'est pas fait, et nomme une skill d'étape suivante correspondant à l'objectif de l'utilisateur.