Tokenisation

Byte Pair Encoding (BPE)

Algorithme de compression de données adapté à la tokenisation qui fusionne itérativement les paires de caractères les plus fréquentes pour créer un vocabulaire de sous-mots optimisé.

← رجوع