conversion en jetons
- Domaine
-
- intelligence artificielle
- Dernière mise à jour
Définition :
Processus dans lequel un algorithme segmente un ensemble de données en une séquence de jetons pouvant être traités par un modèle d'intelligence artificielle.
Note :
Ce processus est notamment utilisé dans le traitement automatique des langues.
Termes privilégiés :
- conversion en jetons n. f.
- jetonisation n. f.
-
Le terme jetonisation a d'abord été utilisé dans le domaine des cryptomonnaies pour désigner la conversion d'informations sensibles en identifiants numériques (voir segmentation en unités).
Traductions
-
anglais
Auteur : Office québécois de la langue française,Termes :
- tokenization
- tokenisation