ИИ в обучении сотрудников: тренажёр вместо курса

Короткий ответ: самое частое применение ИИ в обучении — генерация курсов и тестов, и оно же самое слабое. Работают два других. Тренажёр: модель играет вторую сторону — клиента, недовольного покупателя, проверяющего, — сотрудник ведёт разговор сам, разбор приходит после. И справочник по внутренним документам, отвечающий в момент вопроса, а не за месяц до него. Мерить при этом надо не прохождение курса, а ошибки в работе после него.

Речь дальше не о том, как научить людей пользоваться нейросетями — это отдельная задача, — а о том, как применить модель в обучении чему угодно: продажам, регламенту, приёмке работ.

Почему генератор курсов почти ничего не меняет

Задача выглядит созданной для модели: есть регламент на сорок страниц, нужен курс с модулями и тестом. Модель делает это за вечер, и результат выглядит прилично — структура, примеры, вопросы с вариантами ответа.

Узкое место было не здесь. Материала и раньше хватало, не хватало времени и желания его проходить. Удешевив производство, вы получаете больше материала при том же запасе внимания, и доля прочитанного падает. Через год в системе обучения лежит заметно больше курсов, и каждый следующий проходят хуже предыдущего.

Второе — что именно проверяет такой тест. Модель написала материал и по нему же составила вопросы: контур замкнут, ничего внешнего он не проверяет. Сотрудник, запомнивший формулировки текста, отвечает правильно, и это ровно то, что измерено.

Сама проверка при этом не слабое место, скорее наоборот. Родигер и Карпике в работе 2006 года сравнивали повторное чтение с повторной проверкой: студенты читали прозаические отрывки и либо перечитывали их, либо проходили тесты на свободное воспроизведение без обратной связи. Через пять минут перечитывание выигрывало; через два дня и через неделю предшествующая проверка давала заметно лучшее удержание — при том что перечитывание повышало уверенность в том, что материал запомнен. Тест работает. Не работает тест, спрашивающий о тексте, когда работа спрашивает о случае.

Тренажёр: модель играет вторую сторону

Здесь та же техника, только повёрнутая. Берётся случай из своей практики — обращение, звонок, спорная приёмка. Модель получает роль второй стороны и условия: чего эта сторона хочет, что скрывает, на что согласится. Сотрудник ведёт разговор своими словами. Разбор приходит после разговора, а не внутри него.

Роль тут работает не так, как в ролевой преамбуле. Там от модели ждут знания, и роль его не добавляет. В тренажёре от роли нужно поведение, а поведение она действительно меняет — это единственный случай, где я оставляю роль в запросе без оговорок.

Что в этой конструкции держит всё остальное.

Вторая сторона не должна быть удобной. По умолчанию модель кооперативна: она соглашается со второй реплики, сама подсказывает правильный ход и хвалит за него. Тренажёр из этого не получается. В условия приходится писать прямо: не уступать с первого аргумента, держаться своей цели, не выходить из роли, даже если сотрудник просит подсказку.

Критерии разбора берутся из вашего регламента, а не из представлений модели о хорошем сервисе. Иначе человека учат вежливости вообще, а на работе с него спросят за порядок действий. Практически это значит, что в разбор подаётся текст регламента, а каждый пункт разбора приходит с цитатой — её проверяют за секунду.

Разбор — не балл, а перечень: что сделано, что пропущено, где ушёл от регламента и в какой реплике. Балл выглядит убедительнее и не говорит ничего; перечень можно оспорить, и это его главное свойство.

Ближайшее известное мне измерение — не про сотрудников. В Гарварде на вводном курсе физики студентов случайно разделили на две группы, в зачёт вошли 194 человека: одну неделю одни разбирали материал в классе по методике активного обучения, а другие дома с настроенным помощником, на следующей неделе группы менялись местами. Медиана последующего теста — 4,5 против 3,5 при общем исходном уровне 2,75, то есть прирост больше чем вдвое, и времени ушло меньше: на задание с помощником медиана 49 минут, тогда как в классе на разбор оставалось около шестидесяти. Существенно, как был устроен помощник: он вёл через задачу по частям, повторяя порядок преподавателя, а не выдавал решение. Переносить это на обучение продавца я бы не стал — другая предметная область и другие люди, — но механика совпадает: разговор по шагам вместо материала.

Справочник вместо курса

Второе применение скучнее и, по моему опыту, окупается быстрее. Значительная часть того, чему учат на вводном курсе, — это то, что можно посмотреть в момент вопроса: где смотреть лимит, как оформить возврат, какой срок на ответ. Держать это в голове не нужно, нужно быстро находить.

Справочник по внутренним документам отвечает на такой вопрос цитатой из регламента и ссылкой на пункт. Обучение здесь не улучшается, оно частично отменяется — и это лучший исход, чем курс, который пересказывает тот же регламент словами модели.

Упирается справочник в то же, во что упирается поддержка: документы писались как отчёты о принятых решениях, а спрашивают в них как в справочнике. Находимость создаётся структурой на входе, и эта работа обычно и оказывается настоящим содержанием проекта.

Что мерить

Отметка «пройдено» не метрика. Киркпатрик разложил оценку обучения на четыре уровня: реакция, усвоение, поведение, результат. Первый — понравилось ли и было ли полезно; второй — появились ли знание, навык и готовность их применять; третий — делает ли человек в работе то, чему учили; четвёртый — изменились ли показатели организации. Отметка о прохождении не дотягивает даже до первого: она говорит, что страницы были открыты.

Курсы, которые я видел, мерили первые два уровня, потому что они снимаются внутри самого курса. Третий и четвёртый снимаются в работе, и потому их снимают редко.

Что я считаю пригодным к съёму без отдельного проекта: доля работ, возвращённых на переделку, по причинам из регламента; число эскалаций к старшему; время до первой самостоятельной задачи у нового сотрудника; доля вопросов, на которые ответил справочник, а не коллега. Каждое из этих чисел надо снять до запуска обучения, иначе сравнивать будет не с чем.

И отдельно — журнал попыток в тренажёре. Он показывает, какой пункт регламента проваливают чаще всего. У меня это дважды оказалось первой полезной находкой: провал был не у людей, а в регламенте, где два пункта противоречили друг другу и каждый выбирал свой.

Условие несогласия

Всё сказанное избыточно, если учить некого. Признак считается за вечер: сколько человек за последний год проходили одну и ту же вводную. Если двое, дешевле посадить рядом с ними наставника на день, и никакой контур этого не перебьёт — он окупается повторяемостью, а её нет.

Второй признак тоньше. Если вы не можете назвать ошибку, которую обучение должно сократить, тренажёр строить не на чем: критерии разбора берутся из ошибок, а не из общих представлений о правильной работе. Нет названной ошибки — сначала разбирайтесь, чему учите, и только потом чем.

Чего я делать не стал бы

Не стал бы превращать результат тренажёра в оценку сотрудника. Как только от него зависит аттестация, люди учатся проходить модель, а не разговаривать с клиентом: находят формулировки, которые она одобряет, и повторяют их. Тренажёр остаётся полезным ровно до того дня, когда за результат наказывают.

Не стал бы просить модель написать сам регламент, по которому она потом проверяет. Это тот же замкнутый контур, что в генерации курса и теста к нему, только дороже: человека учат норме, которой никто не утверждал, и обнаруживается это на первой же претензии от клиента.

Не стал бы загружать в тренажёр настоящую переписку как есть. Там имена, телефоны, суммы и условия сделок, и правила о том, что уходит в чат, действуют для обучения так же, как для работы. Случай для тренажёра переписывается своими словами — модели детали не нужны, ей нужна ситуация.

Открытый вопрос

Тренажёр учит разговору с моделью, играющей клиента, и насколько это переносится на живого клиента, я не знаю. Модель предсказуемее человека: она держит заданную линию, не устаёт, не перебивает и несправедлива только тогда, когда ей это велели. Живой недовольный человек делает всё это сразу и без предупреждения.

Есть риск, что сотрудник осваивает именно модельный разговор — гладкий, по шагам, с понятной второй стороной. Проверить это можно только сравнением двух групп с последующим разбором реальных обращений, а в компании на двадцать человек такая проверка не наберёт данных ни за квартал, ни за год. Пока я исхожу из того, что тренажёр лучше, чем ничего, и хуже, чем разговор с наставником, который сам вёл эти обращения. Где именно он стоит между ними, я честно измерить не сумел.