Осталось только понять, как оценивать принадлежность к классу.
Дело в том, что алгоритм не может однозначно определить принадлежность к классу 1 или -1, вместо этого алгоритм оценивает вероятность принадлежности к классу 1. Вероятность принимает значения от 0 до 1, и если мы установим порог значений 0,5, то все объекты, имеющие вероятность ниже этого порога, будут отнесены к классу 0, а все объекты выше порога — к классу 1.
Таким образом, в зависимости от задачи или входных данных мы можем самостоятельно устанавливать порог значений.
ROC-кривая показывает зависимость FPR и TPR при варьировании порога от максимального значения к минимальному. Она проходит из точки (0,0), когда все вероятности находятся ниже порога, в точку (1,1), когда все вероятности лежат выше порога. Чем выше диагонали прямоугольника лежит ROC-кривая, тем лучше качество классификации.
Площадь под ROC-кривой (AUC — Area Under Curve) — это агрегированная характеристика качества классификации. Чем ближе площадь к единице, тем лучше модель классификации. В нашем случае площадь равна 0,94.