Глоссарий ИИ
Полный словарь искусственного интеллекта
Встраивание сущностей
Техника векторного представления, которая преобразует категориальные переменные в плотные векторы низкой размерности, захватывая их семантические отношения и сходства в непрерывном пространстве.
Кодирование категориальных признаков
Процесс преобразования категориальных переменных в числовой формат, подходящий для моделей машинного обучения, включая методы, такие как one-hot, label encoding и встраивания сущностей.
Размерность встраивания
Размер вектора, представляющего каждую категориальную сущность, важный гиперпараметр, который балансирует выразительную способность модели и риск переобучения.
Обученное представление
Векторное представление данных, полученное автоматически моделью во время обучения, оптимизированное для конкретной задачи без ручного вмешательства в разработку признаков.
Матрица встраивания
Матрица весов, содержащая все векторы встраивания для данной категориальной переменной, где каждая строка соответствует векторному представлению категории.
Признаки высокой кардинальности
Категориальные переменные с большим количеством уникальных значений, где встраивания сущностей значительно превосходят традиционные методы кодирования, такие как one-hot.
Инициализация встраивания
Стратегия инициализации весов слоя встраивания, влияющая на скорость сходимости и конечное качество представлений, изученных моделью.
Регуляризация встраивания
Техники, такие как L2 или dropout, применяемые специально к слоям встраивания для предотвращения переобучения и улучшения обобщения векторных представлений.
Визуализация вложений
Техники, такие как t-SNE или UMAP для проецирования пространств вложений высокой размерности в 2D/3D, позволяющие визуальный анализ отношений и кластеров между категориями.
Перекрестные вложения сущностей
Продвинутый подход, в котором сущности из различных категориальных переменных используют общее пространство вложений, захватывая сложные межкатегориальные отношения.
Трансферное обучение вложений
Переисользование предварительно обученных вложений сущностей на исходной задаче для улучшения производительности на подобной целевой задаче с меньшим объемом обучающих данных.
Топология пространства вложений
Геометрическая структура и отношения соседства в пространстве вложений, отражающие иерархию и неявные сходства между исходными категориями.
Сходимость вложений
Стабилизация векторов вложений во время обучения, указывающая на то, что модель выучила согласованное и оптимальное представление для категориальных сущностей.
Поток градиентов вложений
Распространение градиента через слой вложений во время обратного распространения, механизм, посредством которого векторные представления оптимизируются для минимизации потерь.
Разреженность вложений
Свойство пространств вложений, где некоторые векторы могут содержать много нулей, иногда вводится намеренно для повышения вычислительной эффективности.
Интерполяция вложений
Способность пространств вложений представлять промежуточные концепции через линейную комбинацию существующих векторов, демонстрирующая семантическую непрерывность представления.