Глоссарий ИИ
Полный словарь искусственного интеллекта
CART (Деревья классификации и регрессии)
Основной алгоритм для построения деревьев решений, использующий индекс Джини для классификации и дисперсию для регрессии.
ID3 (Iterative Dichotomiser 3)
Первый алгоритм дерева решений, использующий прирост информации в качестве критерия разделения узлов.
C4.5 и C5.0
Развитие ID3, управляющее непрерывными атрибутами и использующее коэффициент усиления для предотвращения смещения в сторону атрибутов с большим количеством значений.
Бэггинг (Bootstrap Aggregating)
Техника ансамбля, создающая множественные модели на bootstrap-подвыборках, основа случайных лесов (Random Forests).
Важность признаков
Метод оценки важности переменных, основанный на уменьшении примеси или перестановке в случайных лесах (Random Forests).
Ошибка Out-of-Bag
Оценка ошибки без перекрестной проверки с использованием невыбранных образцов в бутстрепе каждого дерева.
Обрезка деревьев (элагаж)
Техники уменьшения сложности деревьев для предотвращения переобучения (предварительная и последующая обрезка).
Неоднородность Джини
Мера неоднородности узла, вычисляющая вероятность неверной классификации случайно выбранного элемента.
Информационный выигрыш и Энтропия
Критерии разделения, основанные на теории информации, измеряющие уменьшение энтропии после разбиения.
Экстра-Деревья (Чрезвычайно Рандомизированные Деревья)
Вариант Случайных Лесов со случайным выбором порогов разделения для еще большего снижения дисперсии.
Изоляционный лес
Применение случайных лесов для обнаружения аномалий путем изолирования наблюдений в коротких деревьях.
Градиентный бустинг деревьев
Последовательный ансамблевый метод, строящий деревья для исправления остаточных ошибок предыдущих моделей