Affiner le comportement du plugin adaptatif

Utiliser cela quand

Utilisez cette compétence quand un utilisateur dispose d'une instrumentation de base NeMo Relay et souhaite améliorer la latence, le parallélisme, le comportement du cache de prompt ou le comportement des requêtes de modèle à partir de signaux d'exécution. Maintenez le comportement adaptatif mesuré par rapport à une baseline connue.

Ne pas utiliser cela quand

N'utilisez pas cette compétence quand l'application n'est pas encore instrumentée. Commencez par nemo-relay-instrument-calls ou nemo-relay-get-started d'abord.

Guidance par défaut

• Observez d'abord, comparez par rapport à une baseline, puis activez un seul changement de comportement à la fois.
• Utilisez le composant plugin adaptatif plutôt que d'inventer une logique de tuning séparée ou d'enregistrer manuellement le comportement adaptatif à chaque site d'appel.
• Commencez par un état en mémoire et un comportement télémétriques uniquement pour le développement local.
• Passez à l'état persistant uniquement quand les signaux appris doivent survivre aux redémarrages ou être partagés entre les workers.
• Ajoutez un comportement actif uniquement après que des événements d'exécution représentatifs montrent ce qui doit changer.

Modèle adaptatif intégré

• Le comportement adaptatif est configuré par le composant plugin first-party avec le kind adaptive.
• Adaptive nécessite des scopes NeMo Relay existants et au moins un flux d'événements de cycle de vie d'outil géré ou LLM pertinent car il apprend à partir de signaux d'exécution.
• Les principaux domaines de configuration sont l'état, la télémétrie, les indices adaptatifs, le parallélisme des outils, l'Adaptive Cache Governor (ACG) et la politique de déploiement.
• Les backends d'état sont in_memory et redis.
• Les modes parallélisme d'outils sont observe_only, inject_hints et schedule.
• Les fournisseurs d'Adaptive Cache Governor sont passthrough, anthropic et openai; omettez ACG jusqu'à ce que la planification du cache de prompt soit nécessaire.
• Des APIs helper existent en Rust nemo_relay_adaptive, Python nemo_relay.adaptive et Node.js nemo-relay-node/adaptive. Go et raw FFI sont source-first ou des surfaces avancées.

Chemin par défaut

Utilisez cette séquence de déploiement :

1. Confirmez que l'app émet des événements de scope et les événements d'outil géré ou LLM nécessaires pour le comportement en cours d'évaluation. Ne nécessitez pas les deux types d'appel quand le workflow n'en utilise qu'un.
2. Capturez une baseline pour le workflow que vous souhaitez améliorer.
3. Activez la télémétrie adaptive avec un état en mémoire.
4. Lisez references/config.md quand des champs de configuration de plugin exact sont nécessaires.
5. Exécutez du trafic représentatif et inspectez les rapports ou événements d'exécution.
6. Si la validation de configuration échoue ou que les événements attendus sont absents, retournez les diagnostics et arrêtez. Gardez la dernière configuration fonctionnelle connue active.
7. Avant d'activer la planification, vérifiez l'idempotence des outils et le comportement de race. Avant d'activer ACG, vérifiez que les payloads de requête du fournisseur sont stables.
8. Activez le plus petit changement de comportement dans la config.
9. Lisez references/hints.md quand la logique applicative consomme des indices adaptatifs, des conseils de parallélisme d'outils ou des diagnostics ACG.
10. Comparez les résultats par rapport à la baseline. Si la latence, la correction ou le taux d'échec régresse, restaurez la dernière configuration fonctionnelle connue et conservez les diagnostics sanitisés pour révision.

Modes de défaillance à éviter

• N'activez pas la planification avant que l'idempotence des outils et le comportement de race soient connus.
• N'activez pas la planification du cache de prompt avant que les payloads du fournisseur soient stables.
• Ne traitez pas les indices adaptatifs comme des instructions obligatoires à moins que le chemin de consommation ne définisse explicitement ce contrat.
• N'utilisez pas les variables d'environnement comme modèle de configuration adaptive principal.
• Ne tunerez pas à partir d'une seule exécution ou d'un trafic non représentatif.
• Ne supprimez ou ne remplacez pas les erreurs originales des outils et des modèles.
• N'ajoutez des retries que quand le propriétaire de l'appel définit sa sécurité.
• Annulez le comportement adaptive quand il augmente le taux d'échec.

Charger une référence quand

• Vous avez besoin de la forme de config adaptive exact -> references/config.md
• Vous avez besoin de consommer des indices adaptatifs ou des conseils de planification dans la logique applicative -> references/hints.md

Utiliser une autre compétence quand

• Vous avez besoin de construire un comportement de plugin réutilisable au lieu de configurer le composant adaptive intégré -> nemo-relay-plugin-build

Compétences associées

• nemo-relay-get-started
• nemo-relay-instrument-calls
• nemo-relay-plugin-observability
• nemo-relay-plugin-build