Мастер-класс “Как оценить тренинг”

№12, 2007

Дональд Киркпатрик предлагает следующие инструменты оценки тренингов

“Первый уровень — «Реакция»

На этом уровне выясняется реакция участников программы на обучение. Как правило, ее проводят все компании. Иногда для оценки этого уровня используется только листы реагирования или анкетирование с помощью smile sheet (англ. «лист улыбок»), которое несет информацию о симпатии (антипатии) аудитории к тренеру, но не дает практических результатов. Поэтому, при оценке первого уровня важно установить, какую информацию вы хотите получить и в соответствии с этим выбрать инструменты.

Инструменты для оценки первого уровня

  • — Листы реагирования

Листы реагирования должны включать открытые вопросы и вопросы со шкалами.

Это может быть формуляр, который даст количественную оценку (например, шкалы для оценки работы тренера, полезность, доступность предоставляемого материала, адекватность информации, качество оборудования и т. д.), а также открытые вопросы для получения информации.

  • — Интервью

Проводятся с каждым участником после обучения с целью получения обратной связи.

  • — Фокус-группы

Используются в основном для пилотных проектов. Фасилитатор проводит первуюфокус-группу через неделю после прохождения программы, собирая мнения участников о реакциях после тренинга.

Вторая фокус-группа проводится через 90 дней после завершения программы. Каждому участнику выдается копия плана курса обучения.

В результате оценки первого уровня должны быть получены ответы на следующие вопросы:

  • — Что конкретно получил участник тренинга?
  • — Кому должен предоставляться тренинг?
  • — Какие методы лучше всего использовать?
  • — Когда лучше всего проводить тренинг?
  • — Как участник будет применять полученные знания и навыки на рабочем месте?

Оценка на этом уровне определяет, как участники программы реагируют на нее. Сам Киркпатрик называет это оценкой удовлетворенности потребителей и подчеркивает, что и в этом случае реакция участников является очень важным критерием успешности тренинга как минимум по двум причинам.

  • — Во-первых, люди так или иначе делятся своими впечатлениями от тренинга со своим руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении тренинга.
  • — Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к обучению. По мнению Киркпатрика, позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает уменьшение вероятности обучения.

Второй уровень — «Обучение»

Основная задача данного уровня — оценить знания, навыки, полученные на тренинге. Оценка может проводиться как в рамках самого тренинга, так и сразу после него или отсрочено (например по электронной почте).

Для оценки уровня используют специально разработанные тесты, опросники и задания, цель которых — количественно измерить прогресс в полученных знаниях.

Инструменты для оценки второго уровня

  • — Тест на знание изученного материала
  • — Лист проверки умений
  • — Обучение других сотрудников
  • — Составление плана действий

Тест на знание изученного материала

Участники программы проходят тестирование на знание изученного материала по теме обучения.

Лист проверки умений

В ходе беседы наблюдатель определяет умения участников программы использовать отработанные навыки. В первой колонке выставляется оценка (1 — неправильное использование умения; 2 — адекватное использование; 3 — экспертное использование умения), во второй колонке записываются комментарии.

Кроме того, участникам обучения можно предложить провести обучение других сотрудников:

  • — обучение группы в парах во время собрания сотрудников;
  • — проведение презентации для руководителей по вопросам учебной сессии;
  • — помощь в адаптации и обучении новых сотрудников;
  • — проведение презентаций с коллегами из других подразделений.

Еще один способ оценки на втором уровне — планирование действий. Участникам предлагается ответить на следующие вопросы:

  • — Что вы хотели бы уметь делать как результат участия в программе?
  • — Какие конкретно действия вы собираетесь произвести?
  • — Что вам может помешать в достижении успеха?
  • — Как вы будете преодолевать эти препятствия?
  • — Какая поддержка вам будет нужна для осуществления ваших действий?
  • — В течение какого времени вы осуществите ваши действия?
  • — Каких результатов вы ожидаете?

Обучение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Киркпатрик утверждает, что изменение поведения участников в результате тренинга возможно только тогда, когда произойдет обучение (изменятся установки, улучшатся знания или усовершенствуются навыки).

Третий уровень — «Поведение»

Киркпатрик определяет этот уровень как самый важный и сложный. Именно на этом уровне происходит оценка того, как изменилось поведение участников в результате обучения, насколько полученные знания и навыки применяются на рабочем месте. Это отражает степень мотивации сотрудника и релевантность программы.

Оценка третьего уровня должна сочетаться с коучингом для усиления оценки эффективности.

Инструменты для оценки третьего уровня

  • — Обзор (отслеживание) поведения
  • — Контрольный лист поведения
  • — Обзор работы сотрудников на рабочем месте
  • — Фокус-группы
  • — Проверка планов действий
  • — Обучение действием

В то же время Киркпатрик указывает на то, что отсутствие изменений в поведении участников не означает, что тренинг был неэффективен. Возможны ситуации, когда реакция на тренинг была позитивной, но не были созданы необходимые условия и их поведение в дальнейшем не изменилось. Таким образом, отсутствие изменения поведения участников после тренинга не всегда может быть поводом для принятия решения о прекращении программы. Киркпатрик отмечает, что в этих случаях необходимо проверить наличие следующих условий:

1)желание участников изменить поведение;

2)понимание участниками, что и как делать;

3)создание соответствующего социально-психологического климата;

4)поощрение участников за изменение поведения.

Говоря о социально-психологическом климате, Киркпатрик имеет в виду прежде всего непосредственных руководителей участников обучения и рекомендует с целью создания позитивного климата вовлекать руководителей в разработку учебных программ.

Рекомендации для реализации этого этапа: коучинг с сотрудниками, краткие рекомендации, что делать для достижения результатов, усиление обучения.

Четвертый уровень — «Результат»

Здесь определяются финансовые результаты, которые появились после обучения.

Оценка на данном уровне определяет, как изменились бизнес-показателикомпании. Это наиболее сложным уровень для измерения. Тут важно правильно определить показатели, которые необходимо измерить после проведения программы обучения. Если речь идет о финансовых данных, таких как объем продаж, прибыль, затраты, то вклад тренинга измерить довольно сложно, поскольку проведенный тренинг не является единственным фактором, влияющим на эти показатели. Есть много других факторов, как внешних, так и внутренних. Киркпатрик подчеркивает, что к результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение (увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров).

Именно поэтому, самое главное — выбрать тот показатель, на который проведенное обучение влияет максимально и непосредственно, и провести их специальное измерение до и после обучения.

По мнению Киркпатрика, результаты не следует измерять в деньгах. Он считает, что перечисленные выше изменения могут в свою очередь приводить к увеличению прибыли.

Оценка на этом уровне — самая сложная и дорогостоящая. Для получения более достоверных результатов при оценке необходимо:

  • — если возможно, использовать контрольную группу (не проходившую обучение);
  • — проводить оценку через некоторое время, чтобы результаты стали заметны;
  • — проводить оценку до и после программы (если это возможно);
  • — провести оценку несколько раз в ходе программы;
  • — сопоставить ценность информации, которую удастся получить с помощью оценки и стоимость получения этой информации (автор считает, что проведение оценки на четвертом уровне не всегда целесообразно в связи с ее высокой стоимостью).

Пятый уровень — ROI (методика разработана Джеком Филипсом)

В 1991 г. Джек Филипс добавил пятый уровень оценки, который переводит результаты оценки четвертого уровня в материальный эквивалент. Затем полученную сумму прибыли сравнивает с затратами на программу обучения.

ROI — разница между полученной от программы прибыли (на выходе) и затратами (на входе). Методика ROI может быть использована и для подтверждения запланированного бюджета, и для оценки потенциально возможной прибыли.

Методика ROI, разработанная Филипсом, помогает перевести результаты обучения в материальный эквивалент, а затем подставить полученную сумму в известное математическое уравнение: отношение прибыли к затратам, где сравнивается общая сумма прибыли с общей суммой затрат. Сам коэффициент ROI выражает процентное соотношение чистой прибыли от программы к сумме затрат:

Модель Филипса дает возможность:

  • — показать, что увеличение продуктивности компании напрямую зависит от обучения сотрудников;
  • — оценить программу обучения как бизнес-инструмент;
  • — оправдать затраты на обучение.

Рекомендации по разработке новой программы

Киркпатрик рассматривает оценку как неотъемлемую часть цикла проведения обучения, который включает 10 этапов:

1. Определение потребностей.

2. Постановка целей.

3.Определение предметного содержания.

4. Выбор участников обучения.

5.Формирование оптимального расписания.

6. Подбор соответствующего помещения.

7.Подбор соответствующих преподавателей.

8.Подготовка аудиовизуальных средств.

9. Координация программы.

10. Оценка программы.

Модель разработки новой программы обучения ADDIE:

A — анализ ситуации, поставленных целей;
D
 — дизайн программы;
D
 — развитие программы;
I
 — выполнение;
Е
 — оценка.

Киркпатрик предлагает для составления новой программы обучения перевернуть уровни оценки «по Киркпатрику» с ног на голову и начать с проведениябизнес-анализа, то есть с выяснения потребностей бизнеса, что мы хотим получить на выходе:

  • — Какие результаты ожидаются от выполнения программы?
  • — Какое поведение должны проявлять сотрудники на рабочем месте?
  • — Какие нужны знания, навыки, чтобы это поведение демонстрировать?
  • — Какая атмосфера должна быть создана, чтобы люди могли применять свои знания, умения, менять поведение на рабочих местах и демонстрировать ожидаемые результаты?

Таким образом мы используем все четыре уровня для того, чтобы собрать информацию и продемонстрировать успешность программы, которая основана на ожиданиях акционеров, а тренинг действительно способствовал достижению успеха в бизнесе.

После этого разрабатываются цели и задачи программы. Их может быть три типа: задачи обучения (ожидаемые знания и навыки), эффективность, производительность (поведение на рабочем месте после окончания тренинга), задачи бизнеса (ожидаемые результаты по окончания обучения и демонстрируемого поведения на рабочих местах):

  • — разработка программы (программы высокого уровня должны непременно составляться с учетом задач, покрывающих все четыре уровня);
  • — развитие;
  • — внедрение (на этапе внедрения программы все уже готово для оценки);
  • — оценка.

Послетренинговая работа

Киркпатрик подчеркивает, что сам по себе тренинг не является той волшебной палочкой, которая сразу решит все проблемы компании. Важно правильно провести анализ и определить цели, которых компания хочет достичь.

26% эффективности обучения возникает до того, как прошел тренинг. Сюда входят знания, с которыми человек приходит на занятие, понимание, какого рода тренинг, предварительная работа менеджера, по поводу ожиданий сотрудников перед обучением.

24% происходит от самого процесса обучения. 50% эффективности тренинга происходит от последующей работы: оценка третьего уровня, развитие навыков, коучинг на рабочем месте, усиление навыков тренинга, поддерживающие занятия.

По исследованиям Брэда Питерсона (Колумбийский университет, 2004 г.) наиболее эффективная схема распределения затрат на обучение выглядит таким образом:

  • — предварительная подготовка — 10%;
  • — собственно тренинг — 85%;
  • — послетренинговое сопровождение — 5%.

Если не уделять значения предварительной подготовке и послетренинговой работе, ценность тренинга теряется, участники автоматически понимают, что тренинг не был важным, полученные знания и навыки не применяются на рабочем месте и в результате поставленные цели не будут достигнуты.

Все приведенные четыре уровня очень хорошо известны, но их комплексное внедрение в большинстве компаний представлено довольно слабо. Как правило, оценка эффективности обучения сводится к первым двум уровням: оценка реакции, проверка до и после тренинга и надежда на лучшее — к этому сводится практика применения четырех уровней во многих компаниях. Даже крупные фирмы не всегда добираются до третьего уровня, хотя именно третий уровень — ключ успеха к результатам четвертого уровня.

Важно, чтобы проведение оценки не было просто декларацией, чтобы она проводилась целенаправленно и была основана на конкретных целях бизнеса. Кроме того, важно понять, как будет выглядеть успех с точки зрения бизнес-партнеров, выделить основные показатели, которые ожидают увидеть после тренинга (увеличение объемов продаж, улучшение качества обслуживания и т. д.). И в соответствии с этим составить программу обучения.”

Источник:  Ключевые составляющие модели оценки эффективности обучения по Киркпатрику (по материалам семинара Джима Киркпатрика). http://www.hrm.ua/article/model_ocenki_jeffektivnosti_obuchenija_donalda_kirkpatrika

Задания по теме:

  • найдите достоинства и недостатки предлагаемой модели
  • применима ли данная модель в России?
  • оцените один из тренингов, в котором Вы участвовали в соответствии с предложенной моделью