Глоссарий ИИ
Полный словарь искусственного интеллекта
Мультианнотаторное активное обучение
Парадигма машинного обучения, при которой несколько аннотаторов сотрудничают для разметки наиболее информативных данных, выбранных активным алгоритмом. Этот подход оптимизирует использование человеческих ресурсов, используя взаимодополняющий опыт и переменные затраты аннотаторов.
Стратегия совместной выборки
Метод выбора выборки, который координирует предпочтения и опыт нескольких аннотаторов для максимизации общего качества меток. Она балансирует между неопределенностью модели и оптимальным распределением задач в соответствии с навыками каждого аннотатора.
Модель экспертизы аннотатора
Вероятностная или детерминированная структура, которая количественно оценивает компетентность, надежность и специфические смещения каждого аннотатора для различных классов или типов данных. Эта модель направляет распределение выборок на основе индивидуальных сильных сторон каждого участника.
Динамическое распределение выборок
Адаптивный процесс, который назначает немеченые выборки наиболее подходящим аннотаторам в режиме реального времени, основываясь на их текущей экспертизе и доступности. Такое распределение оптимизирует компромисс между качеством аннотации и временным или денежным бюджетом.
Матрица межаннотаторного доверия
Структура данных, измеряющая согласованность и относительную надежность между аннотациями разных участников на похожих выборках. Она позволяет выявлять систематические расхождения и корректировать веса доверия для финальной агрегации меток.
Адаптивная стоимость аннотации
Модель переменных затрат, которая корректирует вознаграждение или время, выделяемое на каждую аннотацию, в зависимости от сложности выборки и требуемой экспертизы. Этот подход оптимизирует распределение бюджета, отдавая предпочтение заданиям с наибольшей рентабельностью с точки зрения прироста информации.
Разнообразие аннотаций
Критерий выбора, обеспечивающий разнообразное распределение выборок между аннотаторами для избежания чрезмерной специализации и максимизации охвата пространства признаков. Он поддерживает баланс между использованием существующих экспертиз и исследованием новых перспектив.
Агрегация меток из нескольких источников
Техника слияния, которая объединяет метки от нескольких аннотаторов в единое консенсусное предсказание, используя такие методы, как взвешенное голосование, модели Давида-Скина или байесовский вывод. Такая агрегация исправляет индивидуальные ошибки и выдает более надежные метки.
Взвешенный отбор по неопределенности
Стратегия, которая оценивает неопределенность модели, взвешивая эту меру с учетом затрат и экспертизы, необходимых для обработки каждого образца. Она отдает приоритет экземплярам, обеспечивающим наилучшее соотношение информации и выгоды, исходя из возможностей доступных аннотаторов.
Запрос по комитету с множеством аннотаторов
Расширение метода Query-by-Committee, при котором несколько моделей обучаются на различных подмножествах аннотаций для выявления образцов с наибольшим расхождением в прогнозах. Этот подход обогащается за счет разнообразия точек зрения аннотаторов в комитете.
Калибровка аннотаторов
Процесс систематической корректировки прогнозов аннотаторов для устранения индивидуальных смещений и гармонизации шкал уверенности между различными участниками. Калибровка гарантирует, что показатели надежности сопоставимы и пригодны для использования при динамическом распределении.
Оценка качества аннотации
Непрерывная система метрик, измеряющая точность, согласованность и информационную ценность аннотаций, предоставленных каждым участником. Эти метрики используются для построения моделей экспертизы и направляют решения о будущем распределении задач.
Интеллектуальная маршрутизация образцов
Автоматизированная система принятия решений, которая направляет каждый немаркированный образец к оптимальному аннотатору или группе аннотаторов на основе предикторов производительности и ограничений ресурсов. Такая маршрутизация максимизирует эффективность процесса совместной аннотации.
Полууправляемое обучение с множеством экспертов
Гибридный подход, объединяющий активное обучение с множеством аннотаторов и полууправляемые методы для использования больших объемов немаркированных данных. Он использует высококачественные аннотации в качестве затравок для распространения меток по всему набору данных.
Модель надежности аннотатора
Математическое представление вероятности того, что аннотатор сделает правильную аннотацию, часто моделируемое как условное распределение, зависящее от типа образца. Эта модель динамически изменяется по мере накопления исторических аннотаций.
Стратегия «исследование-использование»
Основа принятия решений, балансирующая назначение знакомых образцов экспертам-аннотаторам (использование) с проверкой возможностей на новых типах данных (исследование). Эта стратегия избегает чрезмерной специализации, одновременно максимизируя качество в краткосрочной перспективе.
Слияние мнений экспертов
Сложный метод агрегации, который объединяет суждения нескольких аннотаторов с учетом их корреляции, предметной экспертизы и истории эффективности. Он часто использует байесовские методы или графы доверия для оптимального слияния.