Глоссарий ИИ
Полный словарь искусственного интеллекта
Кодировщик (Encoder)
Часть автоэнкодера, которая преобразует входные данные в представление меньшей размерности, называемое латентным пространством или кодом, изучая нелинейную функцию сжатия.
Декодер (Decoder)
Часть автоэнкодера, которая принимает сжатое представление из латентного пространства и пытается восстановить исходные входные данные, таким образом изучая функцию декомпрессии.
Латентное пространство (Latent Space)
Слой представления наименьшей размерности в автоэнкодере, который захватывает наиболее существенные и сжатые характеристики входных данных.
Узкое место (Bottleneck)
Самый узкий слой архитектуры автоэнкодера, расположенный между кодировщиком и декодером, который заставляет сеть изучать сжатое представление данных.
Функция потерь реконструкции (Reconstruction Loss)
Целевая функция, часто среднеквадратичная ошибка (MSE) или перекрестная энтропия, которая измеряет разницу между исходными входными данными и их реконструкцией декодером.
Симметричный автоэнкодер
Архитектура автоэнкодера, где структуры кодировщика и декодера являются зеркальными отражениями друг друга, с соответствующими размерами слоев для сжатия и декомпрессии.
Недостаточность (Undercompleteness)
Принцип, согласно которому размерность латентного пространства автоэнкодера должна быть меньше размерности входных данных, заставляя сеть изучать наиболее релевантные характеристики, а не просто копировать.
Связанные веса (Tied Weights)
Техника, при которой матрицы весов декодера являются транспонированными матрицами весов кодировщика, что уменьшает количество параметров и способствует симметричной реконструкции.
Подсчёт нейронов (Unit Counting)
Процесс определения количества нейронов в каждом слое автоэнкодера, где количество нейронов постепенно уменьшается в кодере для достижения узкого места.
Нелинейное снижение размерности
Основное применение автоэнкодеров, которые обучаются на сложных многообразиях данных для проецирования данных высокой размерности в пространство меньшей размерности, выходя за рамки линейных методов, таких как АСГ.
Обучение представлениям (Representation Learning)
Способность автоэнкодеров автоматически обнаруживать абстрактные признаки (features) и внутренние структуры в данных без маркировки с учителем.
Автоэнкодер с одним слоем (Single-Layer Autoencoder)
Простейшая форма автоэнкодера с одним скрытым слоем, служащим узким местом, эквивалентная нелинейному анализу главных компонент.
Глубокий автоэнкодер (Deep Autoencoder)
Архитектура автоэнкодера с несколькими скрытыми слоями в кодере и декодере, позволяющая изучать иерархии сложных признаков для лучшего сжатия.
Шум восстановления (Reconstruction Noise)
Артефакты или ошибки, вносимые в восстановленные данные автоэнкодером, которые могут быть проанализированы для понимания ограничений представления, изученного моделью.
Функция активации кодера
Нелинейная функция (например, ReLU, сигмоида или tanh), применяемая в слоях кодера для возможности изучения сложных преобразований входных данных.
Функция активации декодера
Функция, применяемая в слоях декодера, часто выбираемая в соответствии с распределением входных данных (например, сигмоида для данных, нормализованных между 0 и 1).
Избыточность (Overcompleteness)
Состояние, при котором измерение латентного пространства больше, чем измерение входных данных, требующее дополнительных ограничений, таких как регуляризация, чтобы избежать простого обучения идентичности.
Ошибка квантизации
Часть ошибки восстановления в автоэнкодере, которая возникает в результате сжатия непрерывной информации в латентное пространство конечной размерности.