Глоссарий ИИ
Полный словарь искусственного интеллекта
Масштабируемый конвейер данных
Архитектура потока данных, предназначенная для автоматической обработки увеличения объема данных и рабочей нагрузки за счет эластичных ресурсов и распределенной обработки.
Захват измененных данных (CDC)
Техника идентификации и выборочного захвата изменений данных в исходных системах для минимизации пропускной способности и оптимизации синхронизации в реальном времени.
Оркестрация данных
Автоматизированная координация сложных рабочих процессов интеграции данных, включая управление зависимостями, параллельным выполнением, мониторингом и восстановлением после ошибок.
Слой виртуализации данных
Слой абстракции, позволяющий получать доступ и объединять гетерогенные данные в реальном времени без физического дублирования, создавая унифицированное виртуализованное представление распределенных источников.
Инкрементальная загрузка
Оптимизированная стратегия загрузки, обрабатывающая только новые или измененные данные с момента последнего выполнения, значительно сокращая время обработки и воздействие на исходные системы.
Фреймворк качества данных
Структурированный набор правил, метрик и процессов для валидации, очистки и мониторинга качества данных на протяжении всего конвейера интеграции.
Колоночный формат хранения
Формат хранения, ориентированный на столбцы, оптимизированный для аналитических запросов больших объемов данных, позволяющий эффективное сжатие и выборочное чтение только требуемых столбцов.
Стратегия партиционирования
Техника логического разделения больших наборов данных на основе временных, географических или бизнес-критериев для ускорения запросов и оптимизации параллельной обработки.
Отслеживание происхождения данных
Система автоматической трассировки, документирующая происхождение, преобразования и назначение данных на всех этапах конвейера для аудита и управления данными.
Репозиторий метаданных
Централизация описательной информации о схемах, форматах, источниках и преобразованиях для облегчения обнаружения и автоматизации процессов ETL/ELT.
Распределенная обработка данных
Парадигма распределенных вычислений на кластере узлов для параллельной обработки массивных объемов данных, обеспечивающая горизонтальную масштабируемость и отказоустойчивость.
Конвейер маскирования данных
Поток преобразований, специализирующийся на анонимизации конфиденциальных данных во время интеграции, сохраняющий структуру и статистическое распределение при обеспечении соответствия GDPR.
Гибридная архитектура ETL
Стратегическое сочетание пакетной и потоковой обработки для оптимизации производительности в соответствии с характеристиками данных и бизнес-требованиями к актуальности.
Слой управления данными
Набор политик, средств контроля и механизмов, интегрированных в конвейеры ETL/ELT для обеспечения соответствия нормативным требованиям, безопасности и качества данных.
Самонастраивающийся конвейер
Конвейер интеграции с автооптимизацией, использующий машинное обучение для динамической настройки ресурсов, секционирования и параллелизма в зависимости от паттернов нагрузки.