Évaluation Savante

Présentation générale

Appliquez le framework ScholarEval pour évaluer systématiquement les travaux savants et de recherche. Cette compétence offre une méthodologie d'évaluation structurée basée sur les critères d'évaluation de la recherche évaluée par les pairs, permettant une analyse complète des articles académiques, des propositions de recherche, des revues de littérature et des écrits savants selon plusieurs dimensions de qualité.

Quand utiliser cette compétence

Utilisez cette compétence quand :

• Vous évaluez des articles de recherche pour leur qualité et leur rigueur
• Vous évaluez l'exhaustivité et la qualité d'une revue de littérature
• Vous examinez la conception de la méthodologie de recherche
• Vous évaluez les approches d'analyse de données
• Vous évaluez l'écriture savante et la présentation
• Vous fournissez des retours structurés sur des travaux académiques
• Vous comparez la qualité de recherche par rapport aux critères établis
• Vous évaluez la pertinence de publication pour des lieux cibles
• Vous fournissez une évaluation quantitative pour compléter l'évaluation qualitative par les pairs

Amélioration visuelle avec des schémas scientifiques

Lors de la création de documents avec cette compétence, envisagez toujours d'ajouter des diagrammes et schémas scientifiques pour améliorer la communication visuelle.

Si votre document ne contient pas déjà de schémas ou de diagrammes :

• Utilisez la compétence scientific-schematics pour générer des diagrammes de qualité publication alimentés par l'IA
• Décrivez simplement le diagramme souhaité en langage naturel
• Nano Banana Pro génère, examine et affine automatiquement le schéma

Pour les nouveaux documents : Les schémas scientifiques doivent être générés par défaut pour représenter visuellement les concepts clés, les workflows, les architectures ou les relations décrits dans le texte.

Comment générer des schémas :

python scripts/generate_schematic.py "your diagram description" -o figures/output.png

L'IA génère automatiquement :

• Des images de qualité publication avec un formatage approprié
• Examen et affinage par plusieurs itérations
• Accessibilité garantie (daltonienne, contraste élevé)
• Sorties enregistrées dans le répertoire figures/

Quand ajouter des schémas :

• Diagrammes du framework d'évaluation
• Arbres de décision des critères d'évaluation de qualité
• Visualisations de workflows savants
• Organigrammes de méthodologie d'évaluation
• Visualisations de barèmes de notation
• Diagrammes de processus d'évaluation
• Tout concept complexe qui bénéficie d'une visualisation

Pour des conseils détaillés sur la création de schémas, consultez la documentation de la compétence scientific-schematics.

Workflow d'évaluation

Étape 1 : Évaluation initiale et définition de la portée

Commencez par identifier le type de travail savant évalué et la portée de l'évaluation :

Types de travaux :

• Article de recherche complet (empirique, théorique ou revue)
• Proposition de recherche ou protocole
• Revue de littérature (systématique, narrative ou de portée)
• Chapitre de thèse ou de dissertation
• Résumé de conférence ou article court

Portée de l'évaluation :

• Complète (toutes les dimensions)
• Ciblée (aspects spécifiques comme la méthodologie ou l'écriture)
• Comparative (comparaison avec d'autres travaux)

Demandez à l'utilisateur de clarifier si la portée est ambiguë.

Étape 2 : Évaluation par dimensions

Évaluez systématiquement le travail selon les dimensions de ScholarEval. Pour chaque dimension applicable, évaluez la qualité, identifiez les forces et les faiblesses, et fournissez des scores si approprié.

Consultez references/evaluation_framework.md pour les critères détaillés et les barèmes de chaque dimension.

Dimensions d'évaluation principales :

1. Formulation du problème et questions de recherche

   • Clarté et spécificité des questions de recherche
   • Signification théorique ou pratique
   • Faisabilité et pertinence de la portée
   • Nouveauté et potentiel de contribution

2. Revue de littérature

   • Exhaustivité de la couverture
   • Synthèse critique par rapport à simple résumé
   • Identification des lacunes de recherche
   • Actualité et pertinence des sources
   • Contextualisation appropriée

3. Méthodologie et conception de la recherche

   • Pertinence pour les questions de recherche
   • Rigueur et validité
   • Reproductibilité et transparence
   • Considérations éthiques
   • Reconnaissance des limitations

4. Collecte de données et sources

   • Qualité et pertinence des données
   • Taille d'échantillon et représentativité
   • Procédures de collecte de données
   • Crédibilité et fiabilité des sources

5. Analyse et interprétation

   • Pertinence des méthodes analytiques
   • Rigueur de l'analyse
   • Cohérence logique
   • Explications alternatives examinées
   • Alignement résultats-affirmations

6. Résultats et conclusions

   • Clarté de la présentation
   • Rigueur statistique ou qualitative
   • Qualité de la visualisation
   • Justesse de l'interprétation
   • Discussion des implications

7. Écriture savante et présentation

   • Clarté et organisation
   • Ton et style académiques
   • Grammaire et mécanique
   • Flux logique
   • Accessibilité au public cible

8. Citations et références

   • Exhaustivité des citations
   • Qualité et pertinence des sources
   • Précision des citations
   • Équilibre des perspectives
   • Respect des normes de citation

Étape 3 : Notation et classement

Pour chaque dimension évaluée, fournissez :

Évaluation qualitative :

• Forces clés (2-3 points spécifiques)
• Domaines pour amélioration (2-3 points spécifiques)
• Problèmes critiques (le cas échéant)

Notation quantitative (optionnelle) : Utilisez une échelle de 5 points le cas échéant :

• 5 : Excellent - Qualité exemplaire, publiable dans les meilleures revues
• 4 : Bon - Qualité forte avec améliorations mineures nécessaires
• 3 : Adéquat - Qualité acceptable avec domaines notables pour amélioration
• 2 : Nécessite amélioration - Révisions significatives requises
• 1 : Faible - Problèmes fondamentaux nécessitant révision majeure

Pour calculer les scores globaux par programmation, utilisez scripts/calculate_scores.py.

Étape 4 : Synthétiser l'évaluation générale

Fournissez un résumé d'évaluation intégré :

1. Évaluation générale de qualité - Jugement holistique du mérite savant du travail
2. Forces majeures - 3-5 forces clés selon les dimensions
3. Faiblesses critiques - 3-5 domaines principaux nécessitant attention
4. Recommandations prioritaires - Liste classée des améliorations par impact
5. Pertinence de publication (le cas échéant) - Évaluation de l'adéquation pour les lieux cibles

Étape 5 : Fournir des retours actionnables

Transformez les conclusions d'évaluation en retours constructifs et actionnables :

Structure des retours :

• Spécifique - Référencez des sections, paragraphes ou numéros de page exacts
• Actionnable - Fournissez des suggestions concrètes pour amélioration
• Priorisé - Classez les recommandations par importance et faisabilité
• Équilibré - Reconnaissez les forces tout en abordant les faiblesses
• Basé sur des preuves - Ancrez les retours dans les critères d'évaluation

Options de format des retours :

• Rapport structuré avec analyse dimension par dimension
• Commentaires annotés mappés aux sections spécifiques du document
• Résumé exécutif avec conclusions et recommandations clés
• Analyse comparative par rapport aux normes de référence

Étape 6 : Considérations contextuelles

Ajustez l'approche d'évaluation en fonction de :

Stade de développement :

• Brouillon précoce : Focalisez-vous sur les problèmes conceptuels et structurels
• Brouillon avancé : Focalisez-vous sur le raffinement et le polissage
• Soumission finale : Contrôle de qualité complet

Objectif et lieu :

• Article de journal : Normes élevées pour rigueur et contribution
• Article de conférence : Équilibre entre nouveauté et clarté de présentation
• Travail étudiant : Retours pédagogiques avec orientation développementale
• Proposition de subvention : Accent sur faisabilité et impact

Normes spécifiques à la discipline :

• Domaines STEM : Accent sur reproductibilité et rigueur statistique
• Sciences sociales : Équilibre entre normes quantitatives et qualitatives
• Sciences humaines : Accent sur argumentation et interprétation savante

Ressources

references/evaluation_framework.md

Critères d'évaluation détaillés, barèmes et indicateurs de qualité pour chaque dimension de ScholarEval. Chargez cette référence lors de la réalisation d'évaluations pour accéder aux directives d'évaluation spécifiques et barèmes de notation.

Motifs de recherche pour accès rapide :

• « Critères de formulation du problème »
• « Barème de revue de littérature »
• « Évaluation de méthodologie »
• « Indicateurs de qualité des données »
• « Normes de rigueur analytique »
• « Liste de vérification de qualité d'écriture »

scripts/calculate_scores.py

Script Python pour calculer les scores d'évaluation globaux à partir des évaluations au niveau des dimensions. Supporte la moyenne pondérée, l'analyse de seuils et la visualisation des scores.

Utilisation :

python scripts/calculate_scores.py --scores <dimension_scores.json> --output <report.txt>

Bonnes pratiques

1. Maintenez l'objectivité - Basez les évaluations sur des critères établis, pas des préférences personnelles
2. Soyez complet - Évaluez systématiquement toutes les dimensions applicables
3. Fournissez des preuves - Supportez les évaluations avec des exemples spécifiques du travail
4. Restez constructif - Présentez les faiblesses comme des opportunités d'amélioration
5. Considérez le contexte - Ajustez les attentes en fonction du stade et de l'objectif du travail
6. Documentez la justification - Expliquez le raisonnement derrière les évaluations et les scores
7. Encouragez les forces - Reconnaissez explicitement ce que le travail réalise bien
8. Priorisez les retours - Focalisez-vous d'abord sur les améliorations à haut impact

Exemple de workflow d'évaluation

Demande de l'utilisateur : « Évaluez cet article de recherche sur l'apprentissage automatique pour la découverte de médicaments »

Processus de réponse :

1. Identifiez le type de travail (article de recherche empirique) et la portée (évaluation complète)
2. Chargez references/evaluation_framework.md pour les critères détaillés
3. Évaluez systématiquement chaque dimension :
   • Formulation du problème : Question de recherche claire sur les performances du modèle ML
   • Revue de littérature : Couverture complète des travaux récents sur ML et découverte de médicaments
   • Méthodologie : Architecture d'apprentissage profond appropriée avec procédures de validation
   • [Continuez à travers toutes les dimensions...]
4. Calculez les scores par dimension et l'évaluation générale
5. Synthétisez les conclusions dans un rapport structuré mettant en avant :
   • Méthodologie forte et code reproductible
   • Nécessite évaluation sur ensemble de données plus diversifié
   • L'écriture pourrait améliorer la clarté dans la section résultats
6. Fournissez des recommandations priorisées avec des suggestions spécifiques

Intégration avec Scientific Writer

Cette compétence s'intègre parfaitement avec le workflow scientific writer :

Après génération d'article :

• Utilisez Scholar Evaluation comme alternative ou complément à l'évaluation par les pairs
• Générez SCHOLAR_EVALUATION.md aux côtés de PEER_REVIEW.md
• Fournissez des scores quantitatifs pour suivre l'amélioration entre révisions

Pendant la révision :

• Réévaluez des dimensions spécifiques après traitement des retours
• Suivez les améliorations de score sur plusieurs versions
• Identifiez les faiblesses persistantes nécessitant attention

Préparation à la publication :

• Évaluez la pertinence pour le journal/la conférence cible
• Identifiez les lacunes avant soumission
• Comparez par rapport aux normes de publication

Notes

• La rigueur d'évaluation devrait correspondre à l'objectif et au stade du travail
• Certaines dimensions peuvent ne pas s'appliquer à tous les types de travaux (par ex., collecte de données pour les articles purement théoriques)
• Les différences culturelles et disciplinaires dans les normes savantes doivent être considérées
• Ce framework complète, mais ne remplace pas, l'expertise spécifique au domaine
• Utilisez en combinaison avec la compétence peer-review pour évaluation complète

Citation

Cette compétence est basée sur le framework ScholarEval introduit dans :

Moussa, H. N., Da Silva, P. Q., Adu-Ampratwum, D., East, A., Lu, Z., Puccetti, N., Xue, M., Sun, H., Majumder, B. P., & Kumar, S. (2025). ScholarEval: Research Idea Evaluation Grounded in Literature. arXiv preprint arXiv:2510.16234. https://arxiv.org/abs/2510.16234

Résumé : ScholarEval est un framework d'évaluation augmenté par récupération qui évalue les idées de recherche basées sur deux critères fondamentaux : la solidité (la validité empirique des méthodes proposées basée sur la littérature existante) et la contribution (le degré d'avancement réalisé par l'idée selon différentes dimensions par rapport à la recherche antérieure). Le framework atteint une couverture significativement plus élevée des points d'évaluation annotés par les experts et est consistemment préféré aux systèmes de base en termes d'actionnabilité d'évaluation, de profondeur et de support de preuves.