Training & Fine-tuning

Entrainement et fine-tuning de modeles, MLOps, recherche scientifique.

304 skills

# Skill Source Description Δ
1 aoti-debug pytorch/pytorch Diagnostiquer et corriger les erreurs courantes d'AOTInductor avec méthode. 102 327 10
2 metal-kernel pytorch/pytorch Implémenter des kernels Metal natifs pour opérateurs PyTorch sur Apple Silicon. 102 327 10
3 pt2-bug-basher pytorch/pytorch Déboguer les erreurs de compilation PyTorch 2 via Dynamo, Inductor et AOTAutograd. 102 327 10
4 ml-pipeline-workflow wshobson/agents Orchestrer un pipeline MLOps complet de l'ingestion des données au déploiement en production. 38 723 7
5 backtesting-frameworks wshobson/agents Construire des systèmes de backtesting robustes pour évaluer fiablement des stratégies de trading. 38 723 7
6 spark-environment-setup wshobson/agents Configurer et déboguer un environnement ML sur DGX Spark avec CUDA 13. 38 723 7
7 spark-memory-thermal-ops wshobson/agents Gérer la mémoire unifiée et les thermiques du DGX Spark GB10 efficacement. 38 723 7
8 spark-training-gotchas wshobson/agents Diagnostiquer et corriger les dix pannes récurrentes d'entraînement sur DGX Spark GB10. 38 723 7
9 checkpoint-promotion wshobson/agents Évaluer et promouvoir un checkpoint via un processus de validation en quatre étapes. 38 723 7
10 dataset-curation wshobson/agents Préparer, formater et valider un dataset JSONL pour fine-tuner un LLM. 38 723 7
11 eval-harness-first wshobson/agents Construire un harnais d'évaluation rigoureux avant tout fine-tuning de modèle. 38 723 7
12 finetuning-method-selection wshobson/agents Choisir la bonne méthode de fine-tuning ou rediriger vers RAG/prompt engineering. 38 723 7
13 grpo-rlvr-training wshobson/agents Configurer et lancer un entraînement GRPO/RLVR avec récompenses vérifiables. 38 723 7
14 lora-qlora-recipes wshobson/agents Configurer des adaptateurs LoRA et QLoRA optimaux pour le fine-tuning SFT supervisé. 38 723 7
15 preference-optimization wshobson/agents Sélectionner et configurer la méthode optimale d'alignement par préférences (DPO, ORPO, KTO, SimPO). 38 723 7
16 quantized-export wshobson/agents Exporter un checkpoint promu au bon format quantifié selon la cible matérielle. 38 723 7
17 trace-to-training-data wshobson/agents Convertir des traces d'évaluation notées en données d'entraînement SFT ou DPO prêtes à l'emploi. 38 723 7
18 vision-sft wshobson/agents Configurer et affiner un modèle vision-langage avec LoRA/QLoRA de façon optimale. 38 723 7
19 arize-annotation github/awesome-copilot Créer et gérer des configs d'annotation pour labelliser des spans IA via Arize. 37 704 6
20 arize-experiment github/awesome-copilot Gérer et exporter des expériences d'évaluation de modèles IA via Arize. 37 704 6
21 datanalysis-credit-risk github/awesome-copilot Nettoyer et sélectionner des variables pour modélisation de risque crédit. 37 704 6
22 cudaq-guide nvidia/skills Guider l'utilisateur dans CUDA-Q : installation, simulation GPU et accès QPU. 2 859 5
23 cuopt-install nvidia/skills Installer cuOpt via pip, conda ou Docker pour Python, C ou REST. 2 859 5
24 deepstream-import-vision-model nvidia/skills Importer et benchmarker des modèles de détection d'objets dans DeepStream via TensorRT. 2 859 5
25 nemo-automodel-distributed-training nvidia/skills Configurer l'entraînement distribué PyTorch avec stratégies FSDP2, MegatronFSDP ou DDP. 2 859 5
26 nemo-automodel-model-onboarding nvidia/skills Intégrer de nouvelles architectures de modèles IA dans NeMo AutoModel. 2 859 5
27 nemo-automodel-recipe-development nvidia/skills Configurer et exécuter des recettes de fine-tuning NeMo AutoModel via YAML et CLI. 2 859 5
28 cupynumeric-install nvidia/skills Installer et vérifier cuPyNumeric via conda ou pip sur GPU ou CPU. 2 859 5
29 cuopt-numerical-optimization-formulation nvidia/skills Formuler des problèmes d'optimisation numérique LP, MILP et QP avec rigueur. 2 859 5
30 nemotron-customize nvidia/skills Configurer et orchestrer des pipelines d'entraînement Nemotron via des configs YAML. 2 859 5
31 rag-eval nvidia/skills Évaluer la qualité d'un pipeline RAG NVIDIA via filesystem benchmarks et RAGAS. 2 859 5
32 nemo-mbridge-mlm-bridge-training nvidia/skills Comparer et valider les pertes entre Megatron-LM et Bridge sur GPU. 2 859 5
33 nemo-mbridge-multi-node-slurm nvidia/skills Convertir des commandes distribuées PyTorch en scripts Slurm multi-nœuds avec conteneurs Enroot. 2 859 5
34 nemo-mbridge-perf-activation-recompute nvidia/skills Réduire la mémoire GPU en recompilant les activations selon différentes granularités configurables. 2 859 5
35 nemo-mbridge-perf-cpu-offloading nvidia/skills Configurer le déchargement CPU des activations ou états optimiseur pour libérer la mémoire GPU. 2 859 5
36 nemo-mbridge-perf-cuda-graphs nvidia/skills Configurer et optimiser les CUDA graphs pour accélérer l'entraînement de modèles GPU. 2 859 5
37 nemo-mbridge-perf-expert-parallel-overlap nvidia/skills Masquer la latence de communication all-to-all dans les modèles MoE via le chevauchement calcul/dispatch. 2 859 5
38 nemo-mbridge-perf-hierarchical-context-parallel nvidia/skills Configurer le parallélisme de contexte hiérarchique imbriqué pour l'entraînement distribué. 2 859 5
39 nemo-mbridge-perf-megatron-fsdp nvidia/skills Configurer et activer Megatron FSDP pour l'entraînement distribué efficace de LLMs. 2 859 5
40 nemo-mbridge-perf-memory-tuning nvidia/skills Diagnostiquer et corriger les erreurs OOM GPU lors de l'entraînement de modèles. 2 859 5
41 nemo-mbridge-perf-moe-comm-overlap nvidia/skills Activer le chevauchement des communications MoE pour optimiser le débit en entraînement distribué. 2 859 5
42 nemo-mbridge-perf-moe-dispatcher-selection nvidia/skills Sélectionner le dispatcher MoE optimal selon le matériel, le degré EP et le modèle. 2 859 5
43 nemo-mbridge-perf-moe-hardware-configs nvidia/skills Configurer les hyperparamètres matériels optimaux pour entraîner des modèles MoE sur GPU. 2 859 5
44 nemo-mbridge-perf-moe-long-context nvidia/skills Optimiser l'entraînement MoE longue séquence via parallélisme et recompute sélectif. 2 859 5
45 nemo-mbridge-perf-moe-optimization-workflow nvidia/skills Optimiser l'entraînement de modèles MoE en gérant mémoire, communication et calcul. 2 859 5
46 nemo-mbridge-perf-moe-vlm-training nvidia/skills Optimiser l'entraînement de VLMs MoE avec FSDP ou parallélisme 3D sur GPU. 2 859 5
47 nemo-mbridge-perf-parallelism-strategies nvidia/skills Sélectionner la stratégie de parallélisme optimale selon la taille du modèle et le matériel. 2 859 5
48 nemo-mbridge-perf-sequence-packing nvidia/skills Configurer le packing de séquences pour le fine-tuning LLM et VLM avec Megatron. 2 859 5
49 nemo-mbridge-perf-tp-dp-comm-overlap nvidia/skills Configurer le chevauchement des communications TP/DP/PP pour optimiser l'entraînement distribué. 2 859 5
50 nemo-mbridge-recipe-recommender nvidia/skills Indexer les recettes d'entraînement et recommander la configuration optimale pour LLM. 2 859 5

À propos de cette sélection

Quand un modèle de base commence à produire des réponses trop génériques pour rester crédibles en production, le travail sérieux commence. Cette section s'adresse aux ingénieurs ML et aux équipes qui adaptent, évaluent et débogent des modèles en conditions réelles : affiner un LLM sur un corpus métier avec Hugging Face, tracer des expériences d'entraînement bout en bout, ou remonter un bug de compilation dans le runtime PyTorch avant qu'il bloque un pipeline entier. Les skills training & fine-tuning couvrent un spectre plus large que le seul fine-tuning supervisé. On y trouve des outils d'annotation, de benchmarking, de kernels custom côté NVIDIA, et quelques skills orientés recherche reproductible. L'outillage reste majoritairement Python, avec une densité forte autour des frameworks majeurs. Certains cas avancés demandent encore de composer plusieurs skills ensemble, mais la base est solide.