nv-generate-vae-finetune
Ce skill fait partie du catalogue officiel de skills AI agents publié par NVIDIA dans le repository nvidia/skills. Il fournit les instructions, le script d'entrée et la configuration nécessaires pour affiner (fine-tuner) le VAE (autoencoder variationnel) du modèle MAISI issu du projet NV-Generate-CTMR, à partir de volumes d'imagerie médicale CT ou MRI au format NIfTI fournis par l'utilisateur.
Rôle et fonctionnement
Le skill orchestre un wrapper Python (scripts/run_vae_finetune.py) qui prend en charge la mise en place des fichiers de configuration JSON upstream (config_maisi_vae_train.json et environment_maisi_vae_train.json), leur adaptation aux chemins et hyperparamètres fournis par l'utilisateur, puis le lancement de l'entraînement GPU. Les entrées principales sont une datalist au format MONAI (JSON) et un répertoire de données ; les sorties sont les checkpoints du modèle (autoencoder_checkpoint, discriminator_checkpoint) et un fichier de résultats JSON. Un mode --preflight permet de valider la configuration sans lancer l'entraînement GPU.
Le skill expose les hyperparamètres clés sous forme de flags CLI (epochs, batch size, patch size, learning rate, poids des termes de perte LPIPS/KL/adversarial, etc.) et génère des logs TensorBoard ainsi qu'un résumé JSON de l'entraînement. Il inclut également des conseils de tuning, des cas d'erreur courants et leurs solutions.
Prérequis et limites
Un checkout du repository upstream NV-Generate-CTMR est nécessaire (pointé par la variable d'environnement NV_GENERATE_ROOT), ainsi qu'un GPU NVIDIA CUDA pour l'entraînement réel. Ce skill est strictement réservé à un usage de recherche et de développement : il n'est pas destiné à un usage clinique, réglementaire ou à la validation de données synthétiques pour la production. La qualité anatomique des reconstructions et l'utilité downstream doivent être évaluées par un expert du domaine.