Обучение без готовых ответов

Правильные ответы в данных есть не всегда. Магазин хранит покупки миллиона клиентов, но никто не отметил, какие клиенты похожи друг на друга. Робот-пылесос учится объезжать мебель, и правильного движения для каждой ситуации в данных тоже нет. Для таких случаев есть две другие постановки задачи.

Без учителя

Обучение без учителя (unsupervised learning) получает только признаки, без целевой переменной. Модель ищет структуру в самих данных. Чаще всего это группы похожих объектов — кластеры (clusters).

Магазин может найти, например, группу клиентов, которые покупают только ночью и только со скидкой. Другая задача без учителя — найти необычные объекты. Платёж, не похожий ни на один из миллиона прошлых, банк отправит на ручную проверку.

Названий группам модель не даёт. Сверить их тоже не с чем: в данных нет значений целевой переменной. Что значит каждая группа и полезна ли она, решает человек, который смотрит на результат.

С подкреплением

Обучение с подкреплением (reinforcement learning) устроено как игра. Программа совершает действие в среде и получает награду — число, которое говорит, стало лучше или хуже. Пылесос получает плюс за убранный метр и минус за удар о стену. Цель программы — набрать как можно больше награды за всё время, а не за один шаг.

Правильного ответа на каждом шаге нет, есть только награда. Часто она приходит с задержкой: в шахматах результат становится известен лишь в конце партии. Программа сама выясняет, какие ходы к нему привели. Данных заранее нет: они появляются из её действий и наград.

Так учат игровых ботов и роботов, так подбирают и порядок рекламы на сайте.

Частая ошибка

«Без учителя» понимают как «без человека» и ждут, что модель настроится сама. Это не так. Человек по-прежнему выбирает признаки, алгоритм и его настройки, например число кластеров. Без учителя значит только одно: в данных нет целевой переменной.