Исследование обратной связи от пользователей электронных курсов. Практический опыт.

Нашей компании, как разработчику большого количества электронных курсов, было всегда интересно мнение пользователей готовых продуктов: правильно ли выбрано решение по форме реализации курса, помогают ли применимые в курсе элементы педагогического дизайна лучше усвоить информацию. Мы провели исследование на одном из наших показательных проектов, в котором задали все интересующие нас вопросы непосредственно пользователям одного из реализованных электронных курсов. Ниже можно познакомиться с отчетом об исследовании от нашего аналитика Натальи Малининой.

Правила безопасности и охраны труда в офисе во время рабочего дня необходимо знать каждому сотруднику, чтобы избежать неприятных, и тем более трагических ситуаций. Ведь если он не знает том, что нельзя разогревать в микроволновке еду в фольге, то может произойти взрыв, и сам работник пострадает.

Обычные инструкции по технике безопасности очень объемные и написаны сложным языком, и не каждый сотрудник будет их полностью вдумчиво изучать. Чтобы избежать этого мы разработали курс по охране труда в офисе, который не только в понятной и доступной форме доносит до пользователя информацию, но и разыгрывает перед учащимися реальные ситуации, которые могут произойти в офисе и предлагает самостоятельно найти правильный выход из положения. Когда человек ощущает себя в центре событий, он усваивает информацию с большим энтузиазмом, чем когда просто слышит перечень предосторожностей.

Электронный курс «Охрана труда» состоит из набора ситуаций, моделирующих разнообразные происшествия, которые могут произойти с сотрудниками в разных частях офиса: на кухне, у лифта, в коридорах или непосредственно на рабочем месте. Курс дает возможность учащемуся самостоятельно решать, в какой последовательности он хочет проходить курс.

Например, один из разделов разыгрывает небольшую сценку с сотрудником, заканчивающим работу. После вводной информации учащемуся предлагается указать, какие действия нужно совершить перед тем, как покинуть рабочее место. Если, к примеру, он не выключит электроприборы – программа демонстрирует, что может начаться пожар. Тем самым пользователю наглядно показывается как положительный, так и отрицательный исход ситуации. Все это реализовано в игровой форме с использованием элементов е-комикса. 

Данный курс был разработан для фармацевтической производственной компании «Такеда», где правила безопасности необходимо знать каждому работнику. Сейчас он активно используется в компании вместо очного обучения по технике безопасности, на которое раньше приходилось тратить много средств.

Зачастую после разработки курса, мы мало знаем об отзывах пользователей, и результатах применения выбранных педагогический решений в электронном курсе: нравится ли им выбранная форма подачи материала, дизайн, графика и персонажи курса. Поэтому было организовано исследование обратной связи по курсу «Охрана труда» в компании «Такеда». В ходе исследования было опрошено 154 человека, большая часть которых являются медицинскими представителями (55,2% опрошенных). Основной возраст сотрудников, прошедших обучение по курсу составляет 26-35 лет (54,5 %) и 36-45 лет (29,2%). Таким образом, половина сотрудников, поделившихся своим мнением о курсе, это молодежь, а треть – люди среднего возраста, что немаловажно.

Мы получили результаты по ряду параметров:

• Ожидание и впечатление от курса
• Понятность формы изложения материала
• Оценка сюжета
• Оценка персонажей
• Оценка дизайна и иллюстраций
• Влияние озвучки курса на восприятие
• Уместность юмористической составляющей курса
• Удобство навигации и элементов управления
• Влияние ситуативного подхода на усвоение информации
• Оценка трудности заданий
• Оценка времени на прохождение курса
• Наличие мотивации на прохождение курса
• Влияние игровой формы изложения материала на его усвоение
• Общая оценка за курс

Как выяснилось, у 2/3 (64,9%) опрошенных было положительное ожидание от электронного курса «Охрана труда», и практически у всем им он понравился и в большинстве случаев соответствовал их ожиданиям (98% от данного числа респондентов). У 1/3 (33,1%) не было изначально никаких ожиданий от курса, однако и на них он произвел в целом положительное впечатление. Стоит заметить, что именно параметр впечатления о курсе коррелирует с большинством показателей оценок по его характеристикам (понятность формы изложения, оценка сюжета курса, оценка дизайна и иллюстраций, оценка озвучки курса, удобство навигации, оценка выбранного ситуативного подхода в курсе, общая оценка курса). Соответственно можно сделать вывод, что на общее впечатление о курсе в значительной степени влияют все составляющие элементы педагогического дизайна. Именно они формируют положительные отзывы о проделанной работе, и в данном случае мы видим, что они были выбраны правильно.

Так как в данном курсе мы выбрали необычную форму изложения материала (игра с элементами комикса), то нам было очень интересно, будет ли она понятна пользователям, которые не каждый день сталкиваются с такой подачей материала. На удивление, практически всем сотрудникам, прошедшим курс, данная форма изложения материала была понятная (98%). Также 96,8% опрошенных считают, что игровая форма изложения материала помогла им лучше усвоить материал курса.

Это доказывает, что пользователям нравится необычная подача информации с использованием игровой формы в обучающих курсах, которая противопоставляется обычном пролистыванию экранов.

Выбранный для электронного курса сюжет (набор реальных ситуаций, которые происходят с обычными офисными работниками компании, и варианты их решения) сотрудники оценили в среднем на 4,5 балла. То небольшое количество пользователей (9%), поставивших оценку сюжета «3», это в основном люди молодого возраста 26-35 лет. В своих дальнейших подробных ответах они указывают на неудобство навигации и невысокую скорость соединения с интернетом. В целом полученная оценка хорошая, и дает нам возможность улучшить в будущих курсах результат по отзывам пользователей.

Очень важной составляющей электронного курса являются его персонажи. В данном курсе было два главных персонажа, которых пользователям предстояло уберечь от неприятных ситуаций, и один персонаж-ведущий, который на протяжении всего обучения давал советы и подсказки пользователям. Практически всем сотрудникам (96,8%) понравились эти персонажи. Это показывает, что выбранные герои произвели положительное влияние на процесс обучения работников.

Также для восприятия материала важны иллюстрации и дизайн. Тщательная прорисовка деталей и реалистичность иллюстраций помогают пользователю полностью погрузиться в курс и прожить обыгранные ситуации вместе с главными героями курса, а удобный и понятный дизайн позволяет не тратить много времени на его изучение и не отвлекает внимание пользователя. В данном курсе иллюстрации и дизайн в целом понравились сотрудникам (36,4 % - очень понравились, 61 % - понравились). Хочется заметить, этот параметр слабо коррелирует с параметром возраста (коэффициент корреляции составляет 0,220). Чем старше по возрасту пользователь, тем меньше впечатления производят на него иллюстрации и дизайн. 

Среди тех, кто отрицательно оценил визуальную составляющую курса (2,5%), а это как раз сотрудники 39-55 лет, в качестве причины указали ее «игрушечность», использование комикса и то, что визуал отвлекал их от изучения материала.

Несмотря на несколько замечаний к визуальному оформлению курса, пользователи считают, что оно помогает лучше воспринимать изучаемый материал. Практически все (94%) поставили оценку по данному параметру выше среднего, тем самым подтвердив важность визуальной составляющей курса и ее успешную реализацию. Также стоит отметить, что влияние визуального оформления курса коррелирует с такими показателями, как оценка сюжета, оценка использования ситуативного подхода в курсе и итоговая оценка. Чем выше балл пользователи поставили за визуальную составляющую курса, тем выше балл по перечисленным показателям, что также делает доказывает влияние визуального оформления на восприятие курса в целом.

Мы использовали в курсе «Охрана труда» звуковые и музыкальные эффекты, а также озвучивание фраз персонажей. Для половины пользователей (56,5 %) озвучка способствовала позитивному восприятию курса. Однако на четверть респондентов (24,7%) она не оказала никакого влияния. Было несколько сотрудников (7,1% опрошенных), кому озвучка вообще мешала при прохождении курса. Из это можно сделать вывод, что в целом на половину сотрудников она оказала положительное влияние, а на вторую половину – нет. И действительно, получается слишком много эффектов, привлекающих внимание пользователя. Как известно, большинство людей лучше воспринимают визуальную информацию, чем аудио, и читают текст гораздо быстрее, чем их озвучивает закадровый голос. Возможно, стоило в озвучивание курса включить только звуковые и музыкальные эффекты. Также стоит учитывать и то, что не у всех обучающихся есть на компьютере устройства, воспроизводящие звук, 11, 7% опрошенных указали на этот фактор.

Хочется отметить, что курс «Охрана труда», хоть и о серьезных вещах, но не лишен юмористической составляющей. Практически все сотрудники (94,8 %) отметили, что им понравилось наличие данного фактора в электронном обучении.

Огромная роль в электронном курсе отводится навигации. Необходимо, чтобы у пользователя не возникало проблем с переходами между экранами и темами, и он не тратил много времени на это. По результатам опроса у большинства респондентов не возникло проблем с навигацией в данном курсе: 81,8 % - ответили, что навигация удобная. Однако стоит обратить внимание на пользователей, для которых навигация оказалась неудобной (18,2 % опрошенных). Среди причин неудобства выделяют следующие: «выделены очень маленькие области для выбора правильного ответа», «было сложно понять, на что нажимать», «трудно понять, как передвигать предметы», «не всегда понятно, что нужно делать дальше, приходилось тратить лишнее время», «не всегда было понятно, как попасть в нужный раздел».

Мы предложили респондентам выбрать из ряда утверждений об удобстве и понятности элементов навигации выбрать то, которое им ближе. Большинству респондентов интерфейс оказался понятен и удобен, было понятно, как перемещаться по слайдам и разделам курса, удобно использовать элементы управления внутри рабочей области, был понятен прогресс обучения по курсу и не доставляла неудобств использование изометрической локации офиса для перемещения по темам курса. Полученные результаты не коррелируют от ответами на вопрос об удобстве навигации в целом, так как среди тех, кому она казалась в целом удобной, некоторые элементы доставляли неудобство и наоборот.

В целом из полученных результатов хочется отметить, что большую непонятность у пользователей вызвал прогресс обучения: 26,6 % опрошенных было не понятно, какая часть курса уже пройдена и сколько еще осталось. В будущем можно учесть это и использовать в курсах такого типа иную визуализацию прогресса обучения, более понятную для пользователя.

Ситуативный подход в электронном обучении, который мы использовали в курсе «Охрана труда», по мнению респондентов (70%), помогает усвоению материала.

Средняя оценка трудности прохождения представленных в курсе ситуаций составляет 4,2 балла. У пользователей вызвали затруднения следующие ситуации: правила работы с принтером (попадающие в него волосы) и правильная посадка за рабочим местом. Пользователи не сразу понимали, в чем состоит опасность ситуации и как правильно ее решить. Уверены, что после отработки их в курсе на вымышленных персонажах, в жизни у этих работников с этим сложности не возникнет.

Обучение по электронным курсам не должно отнимать у сотрудников очень много времени. В среднем прохождение одного модуля курса не должно превышать часа. С этой задачей курс «Охрана труда» справился. Большинство сотрудников (70,8%) потратили на него менее 1 часа.

Стоит отметить, что время для прохождения курса не всегда может быть рабочим. Так половина опрошенных проходило обучение по курсу в рабочие часы, а половина – в нерабочее время. Это демонстрирует удобство дистанционного обучения и независимость его от рабочего времени: пользователи проходят курсы, когда им удобно и на них есть время.

Как выяснилось, у большинства работников (72,7%) все же есть мотивация на прохождения электронных курсов. Оказывается, сотрудников мотивирует не только обязательство перед отделом обучения, но и личный интерес.

Безусловно, сотрудникам многие правила безопасности и охраны труда были известны и до изучения электронного курса «Охрана труда», но все же большинство работников после обучения узнали несколько новых полезных правил при работе в офисе, и надеемся, это поможет им у будущем избежать неприятных ситуаций.

В целом сотрудники компании «Такеда» оценили курс «Охрана труда» на 8,1 баллов из 10. Это достаточно хорошая оценка, которая показывает, что можно стремиться и к более лучшему результату. Хочется также отметить, что данная оценка коррелирует практически со всеми вышеперечисленными параметрами, важными в педагогической составляющей курса. Именно от оценки их зависит итоговая оценка пользователей за курс в целом. А полученный балл свидетельствует о том, что большинство приемов педагогического дизайна в данном курсе отработаны хорошо и достигают желаемого результата.

Всегда приятно получать положительные отзывы о проделанной работе именно от пользователей реализованного продукта. В качестве вывода мы представляем перечень пожеланий, которые сотрудники, прошедшие курс «Охрана труда» оставили в своих анкетах:

«Спасибо, все просто и доступно»

«Из непонятного было только переход между комнатами и прогресс в курсе, но через несколько минут разобрался. все остальное превосходно.»

«Очень легко походить обучение в таком режиме, спасибо»

«Курс отличный. Мы хотим использовать ваш пример для разработки своих курсов.»

«Пожелание проводить дальнейшие курсы в игровой форме»

«Спасибо за разработку теста именно в такой ненавязчивой и игровой форме. Так лучше запоминается.»

Сбор обратной связи по готовым продуктам важен для нас, как разработчиков. Поэтому в наших планах провести аналогичные исследования курсам различного направления, чтобы удостовериться в эффективности решений при реализации продуктов.