Training & Fine-tuning

Entrainement et fine-tuning de modeles, MLOps, recherche scientifique.

67 skills

# Skill Source Description Maj
1 arize-annotation github/awesome-copilot Créer et gérer des configs d'annotation pour labelliser des spans IA via Arize. 32 871 18h
2 arize-experiment github/awesome-copilot Gérer et exporter des expériences d'évaluation de modèles IA via Arize. 32 871 18h
3 monkey-patch-kernels-to-transformers nvidia/skills Intégrer des kernels TileGym dans Transformers via monkey-patching pour optimiser les LLM. 85 4j
4 adding-cutile-kernel nvidia/skills Intégrer un nouvel opérateur cuTile dans TileGym selon un workflow structuré étape par étape. 85 5j
5 converting-cutile-to-triton nvidia/skills Convertir des kernels cuTile en kernels Triton via un workflow structuré en cinq phases. 85 5j
6 cutile-python nvidia/skills Écrire, déboguer et optimiser des kernels GPU haute performance avec cuTile Python. 85 5j
7 byob nvidia/skills Créer des benchmarks d'évaluation personnalisés pour LLM avec NeMo Evaluator. 85 5j
8 cuopt-numerical-optimization-api-python nvidia/skills Modéliser et résoudre des problèmes LP, MILP et QP avec cuOpt GPU d'NVIDIA. 85 5j
9 cuopt-user-rules nvidia/skills Optimiser des problèmes de routage et logistique avec cuOpt via des échanges guidés. 85 5j
10 experiment-analyzer datadog-labs/agent-skills Analyser et comparer des expériences LLM via leurs métriques, dimensions et événements. 107 6j
11 eval-bootstrap datadog-labs/agent-skills Générer du code d'évaluation Python à partir de traces de production LLM Datadog. 107 6j
12 train-sentence-transformers huggingface/skills Entraîner des modèles sentence-transformers bi-encodeur, cross-encoder ou SPLADE selon le cas d'usage. 10 483 6j
13 ai-engineering elophanto/elophanto Concevoir, déployer et optimiser des modèles IA/ML en production de bout en bout. 59 10j
14 autonomous-experimentation elophanto/elophanto Exécuter une boucle d'expérimentation autonome pour optimiser métriquement n'importe quel code. 59 10j
15 mlm-bridge-training nvidia/skills Comparer et valider les pertes entre Megatron-LM et Bridge sur GPU. 85 12j
16 parity-testing nvidia/skills Vérifier la parité des poids et des passes avant entre modèles HF et Megatron. 85 12j
17 perf-activation-recompute nvidia/skills Optimiser la mémoire GPU en recomputant sélectivement les activations pendant la rétropropagation. 85 12j
18 perf-megatron-fsdp nvidia/skills Configurer et valider l'entraînement distribué avec Megatron FSDP dans Bridge. 85 12j
19 perf-moe-dispatcher-selection nvidia/skills Sélectionner le dispatcher MoE optimal selon le matériel, le modèle et le degré EP. 85 12j
20 perf-moe-hardware-configs nvidia/skills Configurer les paramètres matériels optimaux pour entraîner des modèles MoE sur GPU. 85 12j
21 perf-moe-long-context nvidia/skills Optimiser l'entraînement long-contexte des modèles MoE avec parallélisme et recompute. 85 12j
22 perf-moe-optimization-workflow nvidia/skills Optimiser l'entraînement de modèles MoE en gérant mémoire, communication et calcul. 85 12j
23 perf-moe-vlm-training nvidia/skills Optimiser l'entraînement de VLM MoE avec FSDP ou parallélisme 3D. 85 12j
24 perf-parallelism-strategies nvidia/skills Sélectionner la stratégie de parallélisme optimale selon la taille du modèle et le matériel. 85 12j
25 perf-sequence-packing nvidia/skills Configurer le packing de séquences pour le finetuning LLM et VLM optimisé. 85 12j
26 perf-tp-dp-comm-overlap nvidia/skills Configurer le chevauchement des communications TP/DP/PP pour optimiser l'entraînement distribué. 85 12j
27 recipe-recommender nvidia/skills Indexer les recettes d'entraînement et recommander la configuration optimale pour LLM. 85 12j
28 cudaq-guide nvidia/skills Guider l'utilisateur dans CUDA-Q : installation, simulation GPU et accès QPU. 85 14j
29 evaluation nvidia/skills Générer et exécuter des configurations YAML d'évaluation de modèles LLM via NeMo Evaluator. 85 14j
30 launching-evals nvidia/skills Lancer, surveiller et analyser des évaluations de modèles IA via NeMo Evaluator. 85 14j
31 ptq nvidia/skills Quantifier un modèle pré-entraîné en checkpoint optimisé via ModelOpt PTQ. 85 14j
32 nel-assistant nvidia/skills Générer et exécuter des configurations YAML d'évaluation de modèles via NeMo Evaluator. 85 14j
33 ad-add-fusion-transformation nvidia/skills Ajouter, étendre ou auditer un pass de fusion dans AutoDeploy de TensorRT-LLM. 85 14j
34 ad-graph-dump nvidia/skills Visualiser l'évolution des graphes FX après chaque transformation AutoDeploy via dump. 85 14j
35 ad-model-onboard nvidia/skills Automatiser l'intégration de modèles HuggingFace dans AutoDeploy avec tests et rapport. 85 14j
36 flashinfer-upgrade nvidia/skills Mettre à jour automatiquement le package flashinfer-python dans TensorRT-LLM. 85 14j
37 build-models replicate/skills Packager un modèle ML avec Cog pour le déployer sur Replicate. 41 15j
38 eval-driven-dev github/awesome-copilot Construire un pipeline d'évaluation automatisé end-to-end pour applications Python utilisant un LLM. 32 871 15j
39 publish-models replicate/skills Publier et tester un modèle Cog sur Replicate avec validation automatique. 41 16j
40 azure-ai-ml-py microsoft/skills Gérer les ressources Azure ML via le SDK Python v2. 2 300 20j
41 accessing-mlflow nvidia/skills Interroger et comparer des runs MLflow via langage naturel et MCP. 85 25j
42 add-benchmark nvidia/skills Intégrer un benchmark natif ou externe dans le framework NeMo-Gym. 85 25j
43 exec-local-compile nvidia/skills Compiler TensorRT-LLM depuis les sources sur un nœud de calcul avec GPU. 85 25j
44 kernel-cute-writing nvidia/skills Développer des kernels GPU optimisés en Python via JIT compilation CUDA avec CUTLASS. 85 25j
45 kernel-tileir-optimization nvidia/skills Optimiser des kernels Triton existants pour le backend TileIR de Blackwell GPUs. 85 25j
46 kernel-triton-writing nvidia/skills Écrire des kernels Triton corrects, performants et précis pour agents IA. 85 25j
47 perf-host-optimization nvidia/skills Détecter et optimiser automatiquement les goulots d'étranglement CPU dans TensorRT-LLM. 85 25j
48 perf-optimization nvidia/skills Coordonner des spécialistes GPU pour optimiser et valider les performances de kernels. 85 25j
49 perf-torch-cuda-graphs nvidia/skills Optimiser les workloads PyTorch en capturant et rejouant des séquences GPU via CUDA Graphs. 85 25j
50 perf-torch-sync-free nvidia/skills Écrire du code PyTorch asynchrone en éliminant les synchronisations CPU-GPU inutiles. 85 25j

À propos de cette sélection

Quand un modèle de base commence à produire des réponses trop génériques pour rester crédibles en production, le travail sérieux commence. Cette section s'adresse aux ingénieurs ML et aux équipes qui adaptent, évaluent et débogent des modèles en conditions réelles : affiner un LLM sur un corpus métier avec Hugging Face, tracer des expériences d'entraînement bout en bout, ou remonter un bug de compilation dans le runtime PyTorch avant qu'il bloque un pipeline entier. Les skills training & fine-tuning couvrent un spectre plus large que le seul fine-tuning supervisé. On y trouve des outils d'annotation, de benchmarking, de kernels custom côté NVIDIA, et quelques skills orientés recherche reproductible. L'outillage reste majoritairement Python, avec une densité forte autour des frameworks majeurs. Certains cas avancés demandent encore de composer plusieurs skills ensemble, mais la base est solide.