trtllm-moe-develop

Par nvidia · skills

Examiner, concevoir et refactoriser le code PyTorch MoE de TensorRT-LLM pour l'adéquation architecturale, la qualité du code, la maintenabilité et la testabilité. À utiliser systématiquement pour toute modification, revue, refactorisation ou planification de conception touchant les modules MoE, notamment tensorrt_llm/_torch/modules/fused_moe, ConfigurableMoE, les backends MoE, MoEScheduler/moe_scheduler.py, l'exécution forward/le chunking, les stratégies de communication, EPLB, la quantification/gestion des poids, le routage, les factories, la documentation MoE ou les tests MoE. À utiliser également lorsque l'utilisateur demande si une conception MoE respecte l'architecture actuelle ou si une refactorisation MoE est raisonnable.