Глоссарий ИИ
Полный словарь искусственного интеллекта
Модели черного ящика
Модели машинного обучения, внутренние механизмы принятия решений которых не являются непосредственно наблюдаемыми или понятными для людей. Эти модели требуют использования методов постфактумного объяснения для интерпретации их предсказаний.
Модели белого ящика
Модели машинного обучения, внутренняя структура которых изначально прозрачна и интерпретируема людьми без необходимости дополнительных инструментов. Простые деревья решений и линейные регрессии являются типичными примерами.
Визуализации внимания (Attention Visualization)
Графические интерфейсы, визуально представляющие механизмы внимания моделей глубокого обучения, особенно в нейронных сетях и трансформерах. Эти визуализации позволяют идентифицировать части входных данных, на которых модель концентрируется.
Интерфейсы диагностики моделей
Интерактивные системы, позволяющие аналитикам исследовать поведение модели через различные перспективы и уровни детализации. Эти интерфейсы часто комбинируют несколько методов объяснения для предоставления полного представления о модели.
Локальные vs глобальные объяснения
Различие между объяснениями, относящимися к индивидуальному предсказанию (локальные), и теми, которые описывают общее поведение модели (глобальные). Оба уровня объяснения являются взаимодополняющими для полного понимания системы.
Объяснения на основе правил
Объяснения, сформулированные в виде логических правил, легко понятных людям, автоматически извлеченные из сложных моделей. Эти правила переводят поведение модели в простые условия типа ЕСЛИ-ТО.
Интерактивное машинное обучение
Парадигма, в которой люди взаимодействуют напрямую с системами машинного обучения в реальном времени для улучшения взаимопонимания. Этот подход сочетает человеческую экспертизу с вычислительными возможностями моделей.
Причинные объяснения
Объяснения, которые идентифицируют причинно-следственные связи в решениях модели, выходящие за рамки простых корреляций. Причинные объяснения необходимы для понимания основных механизмов поведения модели.
Доверительность в ИИ
Многомерная концепция, охватывающая надежность, устойчивость, справедливость и объяснимость систем ИИ. Доверительность имеет решающее значение для внедрения технологий ИИ в критически важных областях.
Панель объяснимости
Централизованный интерфейс, объединяющий множественные визуализации и инструменты объяснения для обеспечения комплексного анализа модели. Панели объяснимости облегчают интерактивное исследование прогнозов и общего поведения модели.
Объяснения с участием человека
Системы, в которых вмешательство человека интегрировано в процесс генерации и проверки объяснений модели. Этот подход гарантирует, что объяснения релевантны и понятны конечным пользователям.
Методы интерпретируемости
Формальный набор математических и алгоритмических методов, позволяющих извлекать и представлять интерпретируемую информацию из сложных моделей. Эти методы варьируются в зависимости от типа модели и желаемого уровня объяснения.
Графики частичной зависимости
Визуализации, показывающие предельный эффект одной или двух характеристик на прогноз модели, усредняя по другим переменным. PDP особенно полезны для понимания нелинейных отношений в сложных моделях.