Tokenisation et Encodage

Tokenisation Subword

Stratégie de tokenisation qui divise les mots en unités plus petites (sous-mots), permettant de gérer un vocabulaire fini tout en pouvant représenter une infinité de mots, y compris les néologismes et les fautes de frappe.

← Retour