AKS GPU Inference Day-2

Quick Reference

When to Use This Skill

À utiliser pour la planification, VRAM/OOM, readiness KAITO et scaling des workloads. Acheminer les exclusions comme décrit ci-dessus.

MCP Tools

Utiliser une lecture Azure en lecture seule annoncée par l'hôte ou les requêtes en lecture seule des références.

Host Capability Gate

Avant d'exécuter tout pipeline référencé, vérifier que l'hôte autorise les commandes shell et kubectl/az requises contre la cible liée. La collecte adossée à un fichier nécessite également l'approbation du stockage d'artefacts et l'accès à tout fichier bundle qu'elle utilise. Un outil Azure CLI gouverné seul n'établit pas ces capacités. Les lectures d'hôte équivalentes peuvent remplacer les commandes uniquement si leurs schémas annoncés fournissent la preuve requise.

Si l'exécution n'est pas disponible ou interdite, l'indiquer et analyser les événements, status, logs et métriques fournis ou édités, ou proposer à l'opérateur un plan de collecte limité. Énoncer lesquelles des lectures n'ont pas s'exécuter et laisser les conclusions nécessitant des preuves manquantes non confirmées. Ne jamais acheminer kubectl via Azure MCP ou contourner la politique de l'hôte. Les exigences d'autorisation ci-dessous s'appliquent toujours.

Workflow

1. Lier la subscription, le cluster, le kube context, le pool et la ressource affectée.
2. Capturer les événements/status exacts et le gpuProfile observé ; indiquer lesquelles des lectures se sont exécutées.
3. Acheminer vers scheduling, observability, KAITO, ou scaling.
4. Séparer les défaillances d'OOM conteneur/hôte des défaillances d'allocation de device. Pour OOMKilled, corréler les limites/usage de mémoire conteneur et les conditions du nœud. Pour les preuves Managed+Install de device-memory, utiliser l'exporter sur le port 19400 et la fenêtre d'incident FB_USED/FB_FREE ; les tables de dimensionnement n'établissent pas une cause.
5. Pour KAITO not-ready, avertir que la suppression de Workspace laisse ses GPU pools ; le nettoyage est distinct et nécessite une autorisation explicite.
6. Rapporter les preuves, la confiance, les preuves manquantes et le handoff du propriétaire.

Exiger une autorisation explicite avant le scaling, cordon/drain, suppression, activation d'add-on ou mutation de monitoring.

Error Handling