Мало-ресурсные модели

Структурное прореживание

Техника прореживания модели, которая удаляет целые и согласованные компоненты (головки внимания, нейроны, слои), а не отдельные веса, чтобы сократить вычислительные затраты, сохраняя архитектуру, совместимую с аппаратными ускорителями.

← Назад