Глоссарий ИИ
Полный словарь искусственного интеллекта
235
категории
2 988
подкатегории
33 628
термины
термины
Каузальное маскирование
Техника в декодере, которая маскирует все будущие позиции, чтобы гарантировать, что предсказание для позиции i зависит только от позиций от 1 до i, соблюдая авторегрессионную природу генерации.
термины
Выходная проекция
Финальный линейный слой, который проецирует представления декодера в пространство словаря, за которым следует softmax для получения распределения вероятностей по возможным токенам в каждой выходной позиции.
🔍