[МУЗЫКА]
[МУЗЫКА] Давайте
продолжим и рассмотрим некоторые метрики и модели выбора алгоритмов классификации.
Допустим, мы решаем задачу бинарной классификации,
в которой объект у нас может принимать значение плюс один или минус один.
В таком случае, в результате работы нашего алгоритма мы получаем
несколько типов таких объектов соотнесённых.
В случае, если наш объект был класса
плюс один и в результате классификации он остался вот таким классом,
такие объекты являются истинно положительными.
В случае, если наш объект принадлежал к классу плюс один,
а в результате классификации он соотнёсся к классу минус один,
мы получем ложнонегативные объекты.
И, наконец, в случае, если мы имели объект из класса минус один и
соотнесли его к классу плюс один, мы получили ложноположительные объекты.
Основываясь на таких объекта, векторах такого типа, мы можем
выписать конкретные метрики, которые используются при оценке классификаторов.
Это точность, которая определяет, насколько много мы получили
ложноположительных объектов в процессе обучения.
Вторая метрика — это полнота, в которой мы можем увидеть,
как много у нас правильно классифицированных объектов с учётом
общего числа ложнонегативных.
Это всё интересно, но эти метрики работают,
конечно, не только для задач бинарной классификации, но и для задач
мультиклассификации при условии дополнения и введения некоторых модификаций.
Одним из способов модифицирования данных
метрик является микрополнота и микроточность.
В случае микрооценок мы рассчитываем полноту и точность для каждого объекта,
то есть мы суммируем все правильно классифированные объекты,
все ложно классифицированные объекты, и в этом случае мы получаем более
честную оценку, которая нам позволяет показать,
насколько мы можем оценить как классы большого объёма,
так и классы маленького объёма.
А второй критерий, который может модифицировать наши объекты
на мультиклассификациях, это макрополнота и макроточность.
Вот в этом случае мы считаем усреднение
по заранее предпосчитанным полноте и точности для каждого класса.
Необходимо отметить, что для подсчёта взвешенной средней оценки по полноте
и точности мы можем ввести понятие метрики F меры, взвешенность меры.
Конкретно, в случае, если мы будем ставить в качестве
веса bt единицу, мы получаем F₂ меру.
Но дополнительно давайте заметим тот факт,
что если мы получаем высокие оценки на классификациях,
это ещё не означает, что наш алгоритм отработал правильно.
В некоторых случаях это может значить, что вы обучались и предсказывали
на одних и тех же данных, и вы переучились просто.
Поэтому для решения проблемы, связанной с переобучением,
необходимо вводить такие способы, как leave-one-out,
как cross-validation, которые позволяют вам обучаться на одних
данных и оценивать ваше обучение на других данных.
Одним из способов таких методов является leave-one-out,
он основан на простой идее того,
что мы обучаемся на всём наборе данных, исключая один объект.
На этом конкретном одном объекте мы производим оценку качества нашего
алгоритма, в итоге мы получаем столько предсказаний,
столько оценок, сколько всего объектов в нашей выборке.
По факту это очень долго и дорого.
И для того чтобы решить эту проблему,
мы можем использовать очень часто применяющийся подход cross-validation.
В этом случае мы разбиваем нашу обучающую выборку на k fold'ов,
на k разделений и обучаемся конкретно на k минус первом разбиении,
а тестируемся на k-том разбиении.
Соответственно, понятно, что в этом случае мы получаем k оценок и k
различных способов обучения.
Также, как и в leave-one-out,
полученные k оценок мы усредняем и получаем более точное
качество работы нашего алгоритма.