Modelos Generativos Baseados em Transformer

Modelos de Linguagem Mascarada

Abordagem de auto-supervisão onde tokens são mascarados na entrada e o modelo deve prevê-los, permitindo uma aprendizagem bidirecional do contexto.

← Voltar