evaluation

Par nvidia · model-optimizer

Évalue la précision des LLM quantifiés ou non quantifiés à l'aide de NeMo Evaluator Launcher (NEL). Se déclenche sur « evaluate model », « benchmark accuracy », « run MMLU », « evaluate quantized model », « run nel ». Gère le déploiement, la génération de config et l'exécution des évaluations. Non destiné à la quantification de modèles (utiliser ptq), au déploiement/service de modèles (utiliser deployment), ou à la comparaison de résultats baseline-vs-quantized complétés (utiliser compare-results).