Jeton

Dans le contexte de l'intelligence artificielle, particulièrement en ce qui concerne le traitement automatique du langage naturel (NLP), un jeton (ou token) fait référence à une unité de texte que l'IA peut comprendre et traiter. Un token peut être un mot, un caractère, une phrase, ou même un morceau de mot. Le processus de division d'un texte en tokens s'appelle la tokenisation.

La tokenisation est une étape préliminaire cruciale dans de nombreuses tâches de NLP car elle permet de convertir le texte brut en une forme qui peut être analysée et interprétée par des modèles d'IA. Par exemple, dans la génération de texte ou la compréhension de la langue, les tokens servent de base pour la construction de modèles de langage qui prédisent le token suivant dans une séquence donnée ou qui comprennent la sémantique d'une phrase.