Pipelines de données
Orchestration et transformation de donnees : Airflow, dbt, Astronomer, ETL et ELT.
| # | Skill | Source | Description | Δ | |
|---|---|---|---|---|---|
| 1 | cuopt-routing-api-python | nvidia/skills | Résoudre des problèmes de routage VRP/TSP/PDP avec l'API Python cuOpt. | 1 960 | 8 |
| 2 | deepstream-dev | nvidia/skills | Développer des pipelines DeepStream SDK avec les bonnes pratiques et règles d'architecture NVIDIA. | 1 960 | 8 |
| 3 | dali-dynamic-mode | nvidia/skills | Exécuter des pipelines de données DALI en mode impératif Python sans graphe statique. | 1 960 | 8 |
| 4 | aiq-research | nvidia/skills | Interroger un serveur NVIDIA AI-Q Blueprint pour effectuer des recherches approfondies. | 1 960 | 8 |
| 5 | omniverse-cad-to-simready | nvidia/skills | Convertir un asset CAD en package SimReady via un pipeline bout-en-bout orchestré. | 1 960 | 8 |
| 6 | earth2studio-data-fetch | nvidia/skills | Télécharger des données météo/climat via les APIs Earth2Studio avec vérification lexicale. | 1 960 | 8 |
| 7 | accelerated-computing-cudf | nvidia/skills | Accélérer des DataFrames pandas sur GPU avec cuDF et dask-cuDF. | 1 960 | 8 |
| 8 | cupynumeric-hdf5 | nvidia/skills | Lire et écrire des tableaux cuPyNumeric en fichiers HDF5 en parallèle. | 1 960 | 8 |
| 9 | cupynumeric-parallel-data-load | nvidia/skills | Charger en parallèle des données multi-fichiers fragmentées dans un tableau cupynumeric distribué. | 1 960 | 8 |
| 10 | nemotron-retrieval-recipes | nvidia/skills | Orchestrer les recettes Nemotron d'embedding et de reranking pour optimiser la récupération d'information. | 1 960 | 8 |
| 11 | nemo-data-designer-plugin | nvidia/skills | Générer un dataset synthétique personnalisé via la bibliothèque Data Designer. | 1 960 | 8 |
| 12 | dicom-metadata-extract | nvidia/skills | Extraire les métadonnées d'un fichier DICOM et détecter la présence de PHI. | 1 960 | 8 |
| 13 | dicom-series-preflight | nvidia/skills | Analyser les en-têtes d'une série DICOM et émettre un verdict de conformité JSON. | 1 960 | 8 |
| 14 | dicom-series-to-volume | nvidia/skills | Convertir une série DICOM CT en volume NIfTI HU avec affine et résumé JSON. | 1 960 | 8 |
| 15 | data-designer | nvidia/skills | Construire des datasets synthétiques personnalisés via une interface interactive ou automatique. | 1 960 | 8 |
| 16 | tao-analyze-gaps-visual-changenet | nvidia/skills | Identifier les échantillons les plus faibles d'un modèle VCN TAO pour cibler l'augmentation. | 1 960 | 8 |
| 17 | tao-convert-dataset-format | nvidia/skills | Convertir des datasets DAFT entre formats supportés via la CLI tao-daft. | 1 960 | 8 |
| 18 | tao-generate-video-reasoning-annotations | nvidia/skills | Générer des datasets d'entraînement vidéo avec raisonnement CoT et paires QA annotées. | 1 960 | 8 |
| 19 | tao-route-visual-changenet-samples | nvidia/skills | Router les labels de gaps VCN vers les modules k-NN Mining et AnomalyGen de façon auditable. | 1 960 | 8 |
| 20 | tao-validate-dataset-format | nvidia/skills | Valider un dataset DAFT avec tao-daft validate et interpréter les résultats. | 1 960 | 8 |
| 21 | nextflow-development | anthropics/knowledge-work-plugins | Déployer et exécuter des pipelines bioinformatiques nf-core sur données locales ou publiques. | 22 079 | 3 |
| 22 | single-cell-rna-qc | anthropics/knowledge-work-plugins | Automatiser le contrôle qualité de données single-cell RNA-seq selon les bonnes pratiques scverse. | 22 079 | 3 |
| 23 | instrument-data-to-allotrope | anthropics/knowledge-work-plugins | Convertir des fichiers instruments au format standardisé Allotrope Simple Model pour LIMS. | 22 079 | 3 |
| 24 | create-viz | anthropics/knowledge-work-plugins | Générer des visualisations de données professionnelles avec Python selon les meilleures pratiques. | 22 079 | 3 |
| 25 | airflow-dag-patterns | wshobson/agents | Orchestrer des pipelines de données Apache Airflow avec patterns, opérateurs et déploiement. | 37 258 | 2 |
| 26 | data-quality-frameworks | wshobson/agents | Implémenter des frameworks de qualité de données avec Great Expectations, dbt et contrats. | 37 258 | 2 |
| 27 | spark-optimization | wshobson/agents | Optimiser les jobs Apache Spark avec partitionnement, mémoire et gestion des shuffles. | 37 258 | 2 |
| 28 | risk-metrics-calculation | wshobson/agents | Calculer la VaR, CVaR et métriques de risque pour la gestion de portefeuille. | 37 258 | 2 |
| 29 | upload-parity-experiments | harbor-framework/harbor | Publier des résultats d'expériences de parité Harbor sur Hugging Face via Git sparse checkout. | 2 765 | 2 |
| 30 | azure-ai-contentunderstanding-py | microsoft/skills | Extraire du contenu sémantique multimodal depuis documents, vidéos, audios et images. | 2 624 | 1 |
| 31 | bigquery-pipeline-audit | github/awesome-copilot | Auditer un pipeline BigQuery pour coûts, sécurité et fiabilité en production. | 35 826 | 1 |
| 32 | mini-context-graph | github/awesome-copilot | Construire et interroger un graphe de connaissances persistant combinant wiki, entités et sources brutes. | 35 826 | 1 |
| 33 | airflow-adapter | astronomer/agents | Assurer la compatibilité automatique entre les API Airflow 2.x et 3.x. | 393 | 0 |
| 34 | airflow-hitl | astronomer/agents | Intégrer des points de validation humaine dans un DAG Airflow via des opérateurs déférables. | 393 | 0 |
| 35 | airflow | astronomer/agents | Gérer, diagnostiquer et opérer des workflows Airflow via des commandes CLI dédiées. | 393 | 0 |
| 36 | analyzing-data | astronomer/agents | Interroger un entrepôt de données pour répondre à des questions métier. | 393 | 0 |
| 37 | annotating-task-lineage | astronomer/agents | Annoter la lignée des tâches Airflow via les paramètres inlets et outlets. | 393 | 0 |
| 38 | authoring-dags | astronomer/agents | Créer et valider des DAGs Airflow via le CLI af en suivant les bonnes pratiques. | 393 | 0 |
| 39 | blueprint | astronomer/agents | Composer des DAGs Airflow en YAML via des templates Python réutilisables et validés. | 393 | 0 |
| 40 | cosmos-dbt-core | astronomer/agents | Intégrer dbt Core dans Airflow via Cosmos avec la configuration optimale. | 393 | 0 |
| 41 | cosmos-dbt-fusion | astronomer/agents | Intégrer dbt Fusion avec Cosmos dans Airflow en suivant une checklist d'implémentation structurée. | 393 | 0 |
| 42 | creating-openlineage-extractors | astronomer/agents | Créer des extracteurs OpenLineage personnalisés pour capturer la lignée des opérateurs Airflow. | 393 | 0 |
| 43 | dag-factory | astronomer/agents | Générer des DAGs Apache Airflow déclarativement depuis des fichiers YAML avec dag-factory. | 393 | 0 |
| 44 | debugging-dags | astronomer/agents | Diagnostiquer et résoudre les échecs de DAGs Airflow avec des actions correctives ciblées. | 393 | 0 |
| 45 | migrating-ai-sdk-to-common-ai | astronomer/agents | Migrer un projet Airflow de airflow-ai-sdk vers apache-airflow-providers-common-ai. | 393 | 0 |
| 46 | migrating-airflow-2-to-3 | astronomer/agents | Migrer des DAGs Airflow 2.x vers Airflow 3.x en corrigeant imports et API. | 393 | 0 |
| 47 | setting-up-astro-project | astronomer/agents | Initialiser et configurer un projet Airflow avec l'Astro CLI. | 393 | 0 |
| 48 | testing-dags | astronomer/agents | Tester, déboguer et corriger des DAGs Airflow via des cycles trigger-wait itératifs. | 393 | 0 |
| 49 | tracing-downstream-lineage | astronomer/agents | Cartographier l'impact en aval d'une modification pour éviter les ruptures en production. | 393 | 0 |
| 50 | tracing-upstream-lineage | astronomer/agents | Retracer l'origine d'une donnée en cartographiant ses sources et dépendances upstream. | 393 | 0 |
À propos de cette sélection
L'orchestration de données a longtemps reposé sur des scripts fragiles qu'on ne touchait plus par peur de tout casser. Des acteurs comme Astronomer et dbt Labs ont depuis industrialisé la discipline : DAGs versionnés, transformations testables, lignage de bout en bout. Les skills pipelines de données rassemblés ici couvrent des cas concrets, auditer un pipeline BigQuery pour détecter des dérives de coût ou de fraîcheur, modéliser un dataset pour l'exposer proprement à une couche BI sans multiplier les joins à la main. L'outillage disponible est solide, majoritairement Python, et couvre le spectre du prototypage local au déploiement en production supervisé. Ça parle autant aux data engineers qu'aux ML engineers qui branchent des flux en amont de leurs modèles.