Как проводить юзабилити-тестирования

Команда компании AIC делится полезными советами о подготовке и процессе юзабилити-тестирований После поиска респондентов и подготовки сценария тестирования вам необходимо подготовить все остальное. Определение участников Для начала команде нужно определиться, кто принимает участие в исследованиях. Чаще всего после согласования всех документов (скринера, сценария и NDA) проектом занимаются один-два модератора. Если в исследовании хочет участвовать кто-то еще, идеальный вариант для наблюдателей — удаленная трансляция теста в другой комнате. Также в этом случае планируются встречи-обсуждения команды после определенного количества тестов. В этом случае результаты не будут искажены, респондент будет максимально спокоен на тесте, и тест будет завершен вовремя. Если наблюдатели хотят задать больше вопросов респондентам, то они могут собрать их после одного теста и обсудить их перед следующим тестом с модератором. Или — присылать их во время теста модератору. Когда у нас был проект с продуктом, в котором меняли направление сервиса, менеджер продукта удаленно смотрел тесты в прямом эфире и писал вопросы, которые его интересовали. Так все остались довольны: исследователь собрал полезный отчет, менеджер узнал все, что хотел.​ В некоторых компаниях принято, что на тестах наблюдатели присутствуют в одном кабинете с респондентом. На наш взгляд, это не лучшее решение — это оказывает влияние на респондента и искажает результаты исследования. При этом сам тест может стать совсем не о том, о чем предполагалось. Например, если наблюдатель сильно задержится на обсуждении прошлого опыта респондента или его отношению к косвенному продукту или процессу.​ Для проведения тестов вам понадобятся: отдельная комната, техническое оборудование, распечатки документов (NDA, анкеты), тестовые данные. Сценарий тестирования и анкеты готовят исследователи. NDA обычно готовит заказчик. Техническое оборудование Минимальный список устройств для тестирования: ноутбук модератора девайс для респондента: ноутбук, ПК или мобильный телефон (зависит от ЦА и того, на чем хотим проверить продукт) микрофон/веб-камера с микрофоном для записи интервью монитор, который будет дублировать экран респондента — чтобы модератор мог видеть все происходящее и записывать данные на своем ноутбуке. Необходимые программы: Программы для записи видео и аудио Приложение для съемки экрана респондента При наличии наблюдателей: приложение для трансляции происходящего в наблюдательную комнату Для модератора: Открытый документ со сценарием Таблица/документ для записи данных с интервью Для получения наиболее наивного опыта респондента важно предоставить ему компьютер или телефон максимально похожий на тот, которым он привык пользоваться. Как минимум — с той же операционной системой. Нельзя давать пользователю Android телефон на iOS, и наоборот. Иначе данные по продукту будут перемешаны с данными телефонов. На одном из исследований респонденты использовали телефон той же марки, что их собственной, но другой линейки с другими кнопками внизу экрана. Это повлияло на скорость выполнения заданий — пользователям сложнее давался переход на прошлый экран и переключение между вкладками. Также стало больше ошибок — респондентам было сложно отследить, на каком экране они находятся, и они не могли правильно ввести информацию.​ Расписание тестов Назначая тестирования или предлагая респондентам выбирать удобное им время, не забудьте о необходимом перерыве в один час между тестами. Это время нужно для отдыха модератора и подготовки к следующему исследованию. Чтобы избежать опозданий, просите респондентов приходить за 15 минут до назначенного времени (эту просьбу может передавать рекрутер) — всегда есть респондент, который не рассчитает дорогу и опоздает. В дни проведения тестов лучше приходить в тестовую комнату за 30 минут до их начала, чтобы проверить всю аппаратуру, подготовить распечатанные NDA, материалы для исследования и встретить респондента. Для тестов лучше выбрать непроходную комнату и обеспечить тишину вокруг нее. Можно повесить табличку на дверь, чтобы никто не смутил респондента вторжением посреди теста. Начало исследования К вам пришел репондент. Что делать? Предложите воды — ему придется много и долго говорить, а перерыв на поиски может смазать ход теста. Попросите его изучить и подписать NDA. Будьте готовы ответить на вопросы по содержанию документа. Сверьте данные в паспорте с указанными в соглашении — «профессиональные» респонденты могут специально указывать ошибочные данные. Объясните респонденту, что будет происходить дальше. Лучше заранее подготовить речь для этого. Расскажите, что будет делать респондент, сколько будет длится исследование. Поясните, что вы не тестируете его собственные навыки и знания, а стремитесь улучшить продукт. Предупредите о записи разговора и экрана, на котором будет работать респондент, и том, что эти записи не будут распространяться и публиковаться. Включите запись. Постарайтесь расположить к себе респондента. Он не должен чувствовать себя на экзамене и не должен стараться поскорее отделаться от вас. Убедите респондента в том, что вам действительно важно его мнение. Если респондент не подходит к вашей ЦА или совершенно не идет на контакт — сразу прощайтесь с ним, не выплачивая вознаграждение. Или выплатите его частично, если респондент пробыл у вас больше 15-20 минут. Например, если на тестирование нужны пользователи мобильного приложения определенной категории — укажите это требование в скринере. А на тестировании задайте вопрос в общей формулировке: «С каких устройств вы заходите в свой личный кабинет?». Или: «Какими приложениями вы пользуетесь? А какими — для совершения операций?». Профессиональным респондентам не сложно соврать в скринере, но соврать на интервью перед тестом будет сложнее. Например, на исследование мобильных банков к нам пришел молодой человек. В скринере он отметил, что пользуется банковскими приложениями. Мы попросили рассказать, какими услугами банка он пользуется и как осуществляет операции. В итоге он пожаловался, что ему было сложно разобраться с регистрацией в приложении и он пользуется только сайтом.​ Также вы вправе отказаться от респондента, если он сильно опаздывает или приходит в нетрезвом виде (как-то у нас случилось комбо). Затем переходите к сценарию интервью и тестирования. Как вести себя модератору В проведении самого теста юзабилити-специалисту пригодятся три качества: эмпатия, любознательность и ясность выражения. Любознательность У вас есть отличный шанс выяснить реальное мнение респондента о продукте и способах взаимодействия с ним до того, как человек узнает, исследование какого продукта вы проводите (конечно, если это не лояльный пользователь). Расспросите его подробно об опыте, мнении о продуктах и сложностях с ними. Не бойтесь повторять вопрос: «Почему?». Есть мнение, что только на заданный в пятый раз «почему» вы узнаете истинную мотивацию и мнение респондента. Эмпатия Для лучшего эффекта задавайте как можно меньше вопросов в то время, когда респондент что-то делает. Много вопросов и комментариев модератора сбивают ход мысли респондента и отвлекают его от прохождения задания. Особенно это касается эмоциональных высказываний — они могут заставить респондента отказаться от своего мнения и пойти по другому пути. Но это не значит, что вы должны все время молчать, не вникать и не пытаться понять, что делает респондент. Скорее, нужно использовать вопросы как способ раскрыть мысль респондента, в то же время заставляя его чуть больше подумать над своими действиями. Большинство респондентов стремятся быстрее пройти тест, не задумываясь, работая с продуктом на тестировании: насколько выгодную покупку они совершают и на какие условия соглашаются. Есть несколько техник, которые могут помочь говорить с респондентом и при этом не смазывать его опыт: Эхо. Повторять с вопросительной интонацией последние слова, на которых застрял или прервался респондент. Повторяя слово в слово, мы не вносим своих смыслов и слов, но просим респондента раскрыть свои. Бумеранг. Когда респондент не знает, как поступить и задает вопрос, его можно «возвращать назад». К примеру, респондент говорит: «И как мне теперь оформить заказ?», можно ответить ему вопросом: «А как бы вы поступили в такой ситуации, если бы делали это самостоятельно/ находясь у себя дома?» Коломбо (или Глупый детектив). Во время тестирования модератор занимает позицию незнания и задает очевидные и даже глупые вопросы. При этом не нужно переживать, что вы потеряете авторитет перед респондентами. К примеру, если респондент говорит: «А если я сейчас нажму эту кнопку, то у меня все исчезнет?», следует ответить ему: «Хм, у вас возникла мысль, что если вы нажмете ее, то потеряете все данные?». Ясность выражения Старайтесь не использовать технические слова и названия из интерфейса во время тестирования. При этом — не заходите слишком издалека. Заранее разбреритесь в продукте и во всех терминах в нем, которые будут затронуты в тестировании. Также не используйте профессиональную лексику — не все могут знать, что такое дебет или ПИФ. Как задавать вопросы и общаться с респондентом: Не подсказывайте респонденту, даже если он просит о помощи или фрустрирован. Не давайте респонденту личных оценок и не говорите про него. Также не делайте вслух выводов о его поведении. Не заводите личных отношений с респондентом, чтобы он не старался вам понравится и не говорил социально желательные вещи. Когда респондент начинает рассуждать вслух о том, как было бы правильно делать что-то или о том, как относится к актеру из фильма, который он посмотрел на вашем сервисе — верните его к экрану обсуждать интерфейс. Но если он рассказывает про свой опыт решения проблем оффлайн или делится тем, как это делают его знакомые — расспросите об этом подробнее. Часто попадаются респонденты, которым «все понятно» и «все удобно». Поэтому нужно снижать количество вопросов «Все ли вам понятно?» и задавать более открытые: «Расскажите своими словами, на каких условиях вам предоставляется эта услуга?»; или: «Скажите, сколько будет стоить эта услуга в месяц?» Если респондент говорит, что сам не очень понимает продукт, но его продвинутый друг точно бы разобрался, верните разговор к его опыту. Помогут вопросы: «А лично для вас какую информацию сюда стоит добавить?» Как и что наблюдать В процессе интервью старайтесь максимально погрузиться в слова респондента и следуйте за интересом, задавая вопросы. Так вы сможете подробно узнать о его опыте. Во время юзабилити-тестирования бывает сложно распределить внимание между тем, что респондент говорит и что делает. Находите собственную гармонию — старайтесь пройти с респондентом максимальное количество заданий и при этом не потерять точку зрения и опыт респондента. Как и что записывать Для сбора данных есть два варианта: записывать все во время исследования или собирать данные после всех тестов. У каждого из вариантов есть плюсы и минусы. При сборе данных во время теста есть вероятность пропустить что-то важное из того, что говорит или делает респондент, потому что у вас расфокусировано внимание. Также, если вы записываете не синхронно со словами и действиями респондента, он может забыть, что говорил, пока вы записываете его слова, отвлечься или потерять интерес к обсуждению. В то же время запись его слов может подстегнуть респондента быть более сосредоточенным и говорить более практичные вещи. Большой плюс такого способа — экономия времени, которое особенно дорого, если вы тестите итерационно. При сборе данных после теста у вас уйдет дополнительно столько же или даже больше времени, сколько вы потратили на тестирования. Это затраты денег и времени, а данные могут быть готовы слишком поздно к следующей итерации. Но если у вас есть ресурс, вы сможете собрать данные по каждому респонденту максимально подробно. Но так делают далеко не все команды. С опытом можно научиться записывать слова и действия респондента параллельно и не тормозить его. Но главное — трезво оценивать свои силы и способности к многозадачности, чтобы рвение не было в ущерб тестирования и результатов.