« Jeton » : différence entre les versions
mAucun résumé des modifications |
mAucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
Dans le contexte de l'intelligence artificielle, particulièrement en ce qui concerne le [[traitement automatique du langage naturel]] (NLP), un jeton (ou "token") fait référence à une unité de texte que l'[[IA]] peut comprendre et traiter. Un token peut être un mot, un caractère, une phrase, ou même un morceau de mot. Le processus de division d'un texte en tokens s'appelle la "tokenisation". | Dans le contexte de l'[[intelligence artificielle]], particulièrement en ce qui concerne le [[traitement automatique du langage naturel]] (NLP), un jeton (ou "token") fait référence à une unité de texte que l'[[IA]] peut comprendre et traiter. Un token peut être un mot, un caractère, une phrase, ou même un morceau de mot. Le processus de division d'un texte en tokens s'appelle la "tokenisation". | ||
La tokenisation est une étape préliminaire cruciale dans de nombreuses tâches de [[NLP]] car elle permet de convertir le texte brut en une forme qui peut être analysée et interprétée par des modèles d'[[IA]]. Par exemple, dans la génération de texte ou la compréhension de la langue, les tokens servent de base pour la construction de modèles de langage qui prédisent le token suivant dans une séquence donnée ou qui comprennent la sémantique d'une phrase. | La tokenisation est une étape préliminaire cruciale dans de nombreuses tâches de [[NLP]] car elle permet de convertir le texte brut en une forme qui peut être analysée et interprétée par des modèles d'[[IA]]. Par exemple, dans la génération de texte ou la compréhension de la langue, les tokens servent de base pour la construction de modèles de langage qui prédisent le token suivant dans une séquence donnée ou qui comprennent la sémantique d'une phrase. | ||
Version du 13 mars 2024 à 15:21
Dans le contexte de l'intelligence artificielle, particulièrement en ce qui concerne le traitement automatique du langage naturel (NLP), un jeton (ou "token") fait référence à une unité de texte que l'IA peut comprendre et traiter. Un token peut être un mot, un caractère, une phrase, ou même un morceau de mot. Le processus de division d'un texte en tokens s'appelle la "tokenisation".
La tokenisation est une étape préliminaire cruciale dans de nombreuses tâches de NLP car elle permet de convertir le texte brut en une forme qui peut être analysée et interprétée par des modèles d'IA. Par exemple, dans la génération de texte ou la compréhension de la langue, les tokens servent de base pour la construction de modèles de langage qui prédisent le token suivant dans une séquence donnée ou qui comprennent la sémantique d'une phrase.