Pipelines de données

Orchestration et transformation de donnees : Airflow, dbt, Astronomer, ETL et ELT.

263 skills

# Skill Source Description Δ
1 instrument-data-to-allotrope anthropics/knowledge-work-plugins Convertir des fichiers instruments au format standardisé Allotrope Simple Model pour LIMS. 29 852 1690
2 nextflow-development anthropics/knowledge-work-plugins Déployer et exécuter des pipelines bioinformatiques nf-core sur données locales ou publiques. 29 852 1690
3 single-cell-rna-qc anthropics/knowledge-work-plugins Automatiser le contrôle qualité de données single-cell RNA-seq selon les bonnes pratiques scverse. 29 852 1690
4 analyze anthropics/knowledge-work-plugins Analyser des données et répondre à toute question métrique, de la simple requête au rapport formel. 29 852 1690
5 create-viz anthropics/knowledge-work-plugins Générer des visualisations de données professionnelles avec Python selon les meilleures pratiques. 29 852 1690
6 explore-data anthropics/knowledge-work-plugins Profiler un dataset pour révéler sa structure, qualité et patterns clés. 29 852 1690
7 validate-data anthropics/knowledge-work-plugins Valider une analyse de données pour détecter erreurs, biais et incohérences avant partage. 29 852 1690
8 start anthropics/knowledge-work-plugins Orienter un chercheur en biologie vers les outils et workflows disponibles du plugin bio-recherche. 29 852 1690
9 airflow-dag-patterns wshobson/agents Orchestrer des pipelines de données Apache Airflow avec patterns, opérateurs et déploiement. 40 905 598
10 data-quality-frameworks wshobson/agents Implémenter des frameworks de qualité de données avec Great Expectations, dbt et contrats. 40 905 598
11 dbt-transformation-patterns wshobson/agents Structurer et optimiser des pipelines de transformation dbt en couches analytiques. 40 905 598
12 spark-optimization wshobson/agents Optimiser les jobs Apache Spark avec partitionnement, mémoire et gestion des shuffles. 40 905 598
13 risk-metrics-calculation wshobson/agents Calculer la VaR, CVaR et métriques de risque pour la gestion de portefeuille. 40 905 598
14 recsys-pipeline-architect wshobson/agents Concevoir et scaffolder des pipelines de recommandation en six étapes pour tout système top-K. 40 905 598
15 upload-parity-experiments harbor-framework/harbor Publier des résultats d'expériences de parité Harbor sur Hugging Face via Git sparse checkout. 6 168 217
16 arize-dataset github/awesome-copilot Gérer et exporter des datasets versionnés dans l'espace Arize via CLI. 40 077 210
17 power-bi-dax-optimization github/awesome-copilot Analyser et optimiser des formules DAX Power BI pour de meilleures performances. 40 077 210
18 power-bi-model-design-review github/awesome-copilot Auditer et optimiser la conception d'un modèle de données Power BI. 40 077 210
19 power-bi-performance-troubleshooting github/awesome-copilot Diagnostiquer et résoudre les problèmes de performance dans Power BI. 40 077 210
20 bigquery-pipeline-audit github/awesome-copilot Auditer un pipeline BigQuery pour coûts, sécurité et fiabilité en production. 40 077 210
21 powerbi-modeling github/awesome-copilot Concevoir et optimiser des modèles sémantiques Power BI selon les bonnes pratiques Microsoft. 40 077 210
22 snowflake-semanticview github/awesome-copilot Créer, valider et déployer des vues sémantiques Snowflake avec synonymes et commentaires. 40 077 210
23 mini-context-graph github/awesome-copilot Construire et interroger un graphe de connaissances persistant combinant wiki, entités et sources brutes. 40 077 210
24 cuopt-routing-api-python nvidia/skills Résoudre des problèmes de routage VRP/TSP/PDP avec l'API Python cuOpt. 3 613 65
25 deepstream-dev nvidia/skills Développer des pipelines DeepStream SDK avec les bonnes pratiques et règles d'architecture NVIDIA. 3 613 65
26 dali-dynamic-mode nvidia/skills Exécuter des pipelines de données DALI en mode impératif Python sans graphe statique. 3 613 65
27 omniverse-cad-to-simready nvidia/skills Convertir un asset CAD en package SimReady via un pipeline bout-en-bout orchestré. 3 613 65
28 earth2studio-data-fetch nvidia/skills Télécharger des données météo/climat via les APIs Earth2Studio avec vérification lexicale. 3 613 65
29 accelerated-computing-cudf nvidia/skills Accélérer des DataFrames pandas sur GPU avec cuDF et dask-cuDF. 3 613 65
30 vss-query-analytics nvidia/skills Interroger les incidents, métriques et alertes Elasticsearch via le serveur VA-MCP en lecture seule. 3 613 65
31 vss-search-archive nvidia/skills Rechercher et ingérer des vidéos archivées ou flux RTSP par langage naturel via VSS. 3 613 65
32 nemotron-retrieval-recipes nvidia/skills Orchestrer les recettes Nemotron d'embedding et de reranking pour optimiser la récupération d'information. 3 613 65
33 dicom-metadata-extract nvidia/skills Extraire les métadonnées d'un fichier DICOM et détecter la présence de PHI. 3 613 65
34 dicom-series-preflight nvidia/skills Analyser les en-têtes d'une série DICOM et émettre un verdict de conformité JSON. 3 613 65
35 dicom-series-to-volume nvidia/skills Convertir une série DICOM CT en volume NIfTI HU avec affine et résumé JSON. 3 613 65
36 physical-ai-defect-image-generation nvidia/skills Orchestrer des pipelines de génération, augmentation et labeling d'images de défauts pour l'inspection optique automatisée. 3 613 65
37 physical-ai-video-data-augmentation nvidia/skills Orchestrer un workflow VDA complet sur OSMO, du preflight au téléchargement des sorties. 3 613 65
38 data-designer nvidia/skills Construire des datasets synthétiques personnalisés via une interface interactive ou automatique. 3 613 65
39 tao-analyze-gaps-visual-changenet nvidia/skills Identifier les échantillons les plus faibles d'un modèle VCN TAO pour cibler l'augmentation. 3 613 65
40 tao-convert-dataset-format nvidia/skills Convertir des datasets DAFT entre formats supportés via la CLI tao-daft. 3 613 65
41 tao-generate-video-reasoning-annotations nvidia/skills Générer des datasets d'entraînement vidéo avec raisonnement CoT et paires QA annotées. 3 613 65
42 tao-route-visual-changenet-samples nvidia/skills Router les labels de gaps VCN vers les modules k-NN Mining et AnomalyGen de façon auditable. 3 613 65
43 tao-validate-dataset-format nvidia/skills Valider un dataset DAFT avec tao-daft validate et interpréter les résultats. 3 613 65
44 jetson-generate-kb nvidia/skills Générer une base de connaissances markdown décrivant la structure BSP et sources d'une cible Jetson. 3 613 65
45 cuopt-multi-objective-exploration nvidia/skills Tracer une frontière de Pareto multi-objectifs via des solves cuOpt successifs. 3 613 65
46 amc-run-video-calibration nvidia/skills Calibrer des vidéos MP4 pré-enregistrées via l'API REST AMC sans scripts CLI. 3 613 65
47 earth2studio-create-datasource nvidia/skills Implémenter de bout en bout un wrapper de source de données pour Earth2Studio. 3 613 65
48 i4h-lerobot-viz nvidia/skills Lancer le visualiseur HTML interactif d'un dataset LeRobot converti dans le navigateur. 3 613 65
49 i4h-workflow-dataset-convert nvidia/skills Convertir un enregistrement HDF5 agentic en dataset LeRobot prêt à l'entraînement. 3 613 65
50 i4h-workflow-dataset-mimic nvidia/skills Augmenter un dataset HDF5 en répliquant des trajectoires avec bruit d'action et d'état. 3 613 65

À propos de cette sélection

L'orchestration de données a longtemps reposé sur des scripts fragiles qu'on ne touchait plus par peur de tout casser. Des acteurs comme Astronomer et dbt Labs ont depuis industrialisé la discipline : DAGs versionnés, transformations testables, lignage de bout en bout. Les skills pipelines de données rassemblés ici couvrent des cas concrets, auditer un pipeline BigQuery pour détecter des dérives de coût ou de fraîcheur, modéliser un dataset pour l'exposer proprement à une couche BI sans multiplier les joins à la main. L'outillage disponible est solide, majoritairement Python, et couvre le spectre du prototypage local au déploiement en production supervisé. Ça parle autant aux data engineers qu'aux ML engineers qui branchent des flux en amont de leurs modèles.