Web Scraping & Crawling
Extraction de donnees web : crawlers, RSS, Apify, indexation.
| # | Skill | Source | Description | Δ | |
|---|---|---|---|---|---|
| 1 | browser-use | browser-use/browser-use | Contrôler un navigateur Chrome via CDP pour automatiser des tâches web. | 116 350 | 72 |
| 2 | defuddle | kepano/obsidian-skills | Extraire le contenu lisible et épuré de pages web via Defuddle CLI. | 48 892 | 16 |
| 3 | google-maps-scraper | gosom/google-maps-scraper | Extraire des données de Google Maps via Docker avec configuration automatique. | 6 127 | 15 |
| 4 | x-twitter-scraper | github/awesome-copilot | Intégrer l'API Xquik pour scraper, monitorer et automatiser des tâches X/Twitter. | 39 408 | 14 |
| 5 | browser | browserbase/skills | Automatiser les interactions navigateur en local ou via Browserbase avec une CLI dédiée. | 3 733 | 1 |
| 6 | fetch | browserbase/skills | Récupérer le contenu, les en-têtes et métadonnées d'une page web sans navigateur. | 3 733 | 1 |
| 7 | search | browserbase/skills | Rechercher sur le web et retourner des résultats structurés via l'API Browserbase. | 3 733 | 1 |
| 8 | aeon-last30 | bankrbot/skills | Cartographier les narratifs dominants et dissidents d'un sujet sur 30 jours. | 1 203 | 1 |
| 9 | bx-search | brave/brave-search-skills | Effectuer des recherches web optimisées via CLI pour alimenter des agents IA en contexte. | 180 | 0 |
| 10 | bx | brave/brave-search-skills | Rechercher sur le web via Brave Search CLI avec extraction de contenu optimisée pour les agents IA. | 180 | 0 |
| 11 | local-descriptions | brave/brave-search-skills | Récupérer des descriptions IA de lieux d'intérêt via l'API Brave Search. | 180 | 0 |
| 12 | news-search | brave/brave-search-skills | Rechercher des actualités récentes via l'API Brave avec filtres temporels et géographiques. | 180 | 0 |
| 13 | videos-search | brave/brave-search-skills | Rechercher des vidéos sur le web via l'API Brave Search. | 180 | 0 |
| 14 | web-search | brave/brave-search-skills | Effectuer des recherches web structurées via l'API Brave Search avec filtres avancés. | 180 | 0 |
| 15 | mapbox-location-grounding | mapbox/mapbox-agent-skills | Ancrer les réponses géolocalisées dans des données Mapbox en temps réel. | 78 | 0 |
| 16 | browser-automation | elophanto/elophanto | Automatiser la navigation web, les formulaires et l'extraction de données via 47 outils. | 106 | 0 |
| 17 | tavily | mkurman/zorai | Effectuer des recherches web, extractions et crawls via l'API REST Tavily. | 324 | 0 |
| 18 | paper-lookup | mkurman/zorai | Rechercher des articles scientifiques dans 10 bases de données académiques via leurs APIs. | 324 | 0 |
| 19 | parallel-web | mkurman/zorai | Effectuer des recherches web rapides ou approfondies et sauvegarder les résultats. | 324 | 0 |
| 20 | research-lookup | mkurman/zorai | Effectuer des recherches multi-sources avec citations académiques classées par qualité. | 324 | 0 |
| 21 | literature-search-arxiv | mkurman/zorai | Rechercher, télécharger et extraire des métadonnées de publications arXiv. | 324 | 0 |
| 22 | wayback-api-archive-recovery | divinevideo/divine-mobile | Récupérer des données archivées d'APIs défuntes via la Wayback Machine. | 265 | 0 |
| 23 | wayback-cdx-cloud-ip-workaround | divinevideo/divine-mobile | Contourner le blocage IP cloud de l'API Wayback CDX via GCS comme intermédiaire. | 265 | 0 |
| 24 | wayback-cdx-wildcard-pagination | divinevideo/divine-mobile | Paginer l'API CDX Wayback Machine avec des requêtes wildcard via showResumeKey. | 265 | 0 |
| 25 | wayback-indirect-asset-recovery | divinevideo/divine-mobile | Récupérer des assets introuvables via l'extraction indirecte depuis Wayback Machine. | 265 | 0 |
| 26 | literature-search-biorxiv | mkurman/zorai | Rechercher des prépublications bioRxiv et medRxiv par date, catégorie ou DOI. | 324 | 0 |
| 27 | literature-search-europepmc | mkurman/zorai | Rechercher et télécharger des articles scientifiques en libre accès depuis Europe PMC. | 324 | 0 |
| 28 | pubchem-database | mkurman/zorai | Interroger la base PubChem pour obtenir données chimiques, propriétés et interactions biologiques. | 324 | 0 |
| 29 | wayback-machine-raw-content-id-modifier | divinevideo/divine-mobile | Récupérer le contenu brut d'archives Wayback Machine via le modificateur id_. | 265 | 0 |
| 30 | perplexity-search | mkurman/zorai | Effectuer des recherches web en temps réel avec citations via les modèles Perplexity. | 324 | 0 |
| 31 | deep-research-agent | shobcoder/shob | Mener une recherche autonome multi-sources pour produire des rapports structurés et vérifiés. | 579 | 0 |
| 32 | deep-research | shobcoder/shob | Conduire une recherche approfondie multi-sources pour produire un rapport structuré et vérifié. | 579 | 0 |
| 33 | web-scraper | shobcoder/shob | Extraire et structurer automatiquement des données depuis n'importe quel site web. | 579 | 0 |
| 34 | wayback-cdx-wildcard-pagination | divinevideo/divine-mobile | Paginer l'API CDX Wayback Machine avec des requêtes wildcard via showResumeKey. | 265 | 0 |
| 35 | wayback-indirect-asset-recovery | divinevideo/divine-mobile | Récupérer des assets introuvables via l'extraction indirecte depuis Wayback Machine. | 265 | 0 |
| 36 | wayback-machine-raw-content-id-modifier | divinevideo/divine-mobile | Récupérer le contenu brut d'archives Wayback Machine via le modificateur id_. | 265 | 0 |
| 37 | local-place-search | brave/brave-search-skills | Rechercher des lieux et points d'intérêt à proximité via coordonnées ou texte libre. | 180 | 0 |
| 38 | apify-actor-development | apify/agent-skills | Développer et déployer des Actors serverless sur la plateforme Apify. | 2 398 | -1 |
| 39 | apify-ultimate-scraper | apify/agent-skills | Extraire des données web depuis plus de 100 sources via l'API Apify. | 2 398 | -1 |
| 40 | firecrawl-crawl | firecrawl/cli | Extraire en masse le contenu de multiples pages d'un site web via crawl. | 638 | -1 |
| 41 | firecrawl-agent | firecrawl/cli | Extraire automatiquement des données structurées depuis des sites web complexes multi-pages. | 638 | -1 |
| 42 | firecrawl-download | firecrawl/cli | Télécharger un site entier en fichiers locaux organisés via map et scrape. | 638 | -1 |
| 43 | firecrawl-interact | firecrawl/cli | Interagir avec des pages web en session navigateur live via prompts ou code. | 638 | -1 |
| 44 | firecrawl-map | firecrawl/cli | Cartographier toutes les URLs d'un site web avec filtrage par recherche. | 638 | -1 |
| 45 | firecrawl-scrape | firecrawl/cli | Extraire le contenu de pages web en markdown optimisé pour les LLMs. | 638 | -1 |
| 46 | firecrawl-search | firecrawl/cli | Rechercher sur le web et récupérer le contenu complet des pages résultantes. | 638 | -1 |
| 47 | firecrawl-monitor | firecrawl/cli | Surveiller des pages web et recevoir des alertes automatiques lors de changements détectés. | 638 | -1 |
| 48 | firecrawl | firecrawl/cli | Rechercher, scraper et interagir avec le web en retournant du markdown propre. | 638 | -1 |
| 49 | firecrawl-developer-index | firecrawl/cli | Interroger l'index Firecrawl pour répondre à des questions techniques depuis issues, PRs et docs. | 638 | -1 |
| 50 | firecrawl-research-index | firecrawl/cli | Rechercher et retrouver des articles scientifiques pertinents via requête textuelle ou identifiant. | 638 | -1 |
À propos de cette sélection
L'outillage de scraping web a longtemps ressemblé à un chantier artisanal : un script Playwright bricolé, un cron qui tombe en silence, des sélecteurs CSS qui rendent l'âme dès qu'un front-end se restructure. Les agents IA changent la donne. Ils ont besoin d'accéder au web de façon fiable, autonome et reproductible, et c'est précisément ce que couvrent les skills web scraping & crawling rassemblés ici. De quoi piloter un navigateur headless pour extraire des données structurées depuis des pages dynamiques, ou brancher un agent sur un moteur de recherche comme Tavily et Brave sans écrire une ligne de parsing. Ces skills s'adressent aux développeurs Python ou TypeScript qui alimentent des pipelines de données, construisent des agents de veille ou enrichissent des datasets pour du fine-tuning. L'écosystème couvre déjà une bonne partie des cas d'usage courants.