décodage spéculatif
- Domaine
-
- intelligence artificielle
- Dernière mise à jour
Définition :
Technique d'optimisation visant à accélérer la génération de texte en faisant collaborer un petit modèle d'ébauche qui prédit rapidement une courte séquence des prochains éléments textuels et un modèle principal plus grand et précis qui la valide en une seule opération.
Notes :
Si certains éléments textuels ne sont pas validés, le modèle principal reprend la génération à partir du point de divergence.
Le décodage spéculatif permet d'augmenter la vitesse d'inférence sans diminuer la qualité de la sortie finale. L'efficacité de cette technique dépend de la capacité du modèle d'ébauche à prédire des séquences susceptibles d'être validées par le modèle principal.
Terme privilégié :
- décodage spéculatif n. m.
Traductions
-
anglais
Auteur : Office québécois de la langue française,Terme :
- speculative decoding