Метрики измерения помощи

Когда участник не может продолжать выполнение задания, тестеровщик время от времени оказывает прямую процедурную помощь, чтоб он мог его окончить. Степень нужного вмешательства тестеровщика приведена в таблице 6. В данном случае в отчете должны быть представлены как аспекты окончания без помощи (т.е. без вмешательства тестеров), так и аспекты при помощи (т Метрики измерения помощи.е. с вмешательством). Описания этих метрик различны.

Таблица 6 – Степень вмешательства тестеровщика

Степень подсказки Реакция юзера Деяния тестеровщика
1-ая Испытывает некотороезатруднение Отвечает на вопрос поль-зователя, но не докладывает дополнительных подробностей
2-ая Сталкивается с неувязкой Дает подсказку ответ на вопрос
3-я Не может выполнить Дает прямую рекомендацию к выполнению Метрики измерения помощи задания

Метрики измерения помощи: количество и частота воззваний к справочной системе; продолжительность периода меж началом использования системы и точкой, в какой скорость работы/количество ошибок юзеров перестает возрастать; разница количества ошибок/скорости работы юзеров с опытом внедрения системы и без него и др.

К примеру, если б участник получил помощь Метрики измерения помощи при выполнении зада-чи A, то он не был бы включен в группу, которая удачно воплотила задачку, в этом случае, если выполнение этой задачки не предусматривало помощь. Но, если выполнение задачиБ предугадывает оказание помощи и участник удачно ее делает после предоставления помощи, то он может быть включен в группу как справившийся Метрики измерения помощи с задачейБ.

В неких случаях во время usability-тестирования ПИ участники проинструктированы, как использовать помощь online либо документацию, которые являются частью продукта,в случае, когда они не могут окончить выполнение задачисамостоятельно. Потому в отчете лучше сказать о частоте доступов к инструментам поддержки.

Эталон метрики измерения эффективности Метрики измерения помощи приведен в таблице 7 [2].

Таблица 7 – Эталон метрики измерения эффективности ПИ

Эффективность Аспект окончания тестирования Качествоработы Условие тестирования
После выполнения 5 сценариев сотворения оглавления в документе 75% юзеров способныуспешно создавать оглавление в документе Выполнение сотворения оглавления в документе75 % юзеров Успешное выполнениесоздания оглавления в документе Выполнениепяти сценариев сотворения оглавления в документе

Информация в таблице интерпретирована Метрики измерения помощи таким макаром, что, если в итоге тестирования после реализации 5 сценариев задачки меньше 75% юзеров еевыполнят, то ПИ востребует доработки, так как он не достигнул требуемого уровня эффективности.

Доработка ПИ происходит до того времени, пока 75% юзеров не выполнят задачку при условии реализации пятиее сценариев.

Производительность

Производительность связывает достигнутый уровень эффективности с количеством израсходованных Метрики измерения помощи ресурсов. Производительность, оценивают:

· средним временем, нужным для выполнения задачки, обнаружения иисправления ошибок;

· количеством команд, применяемых при выполнении операций (предполагается, что чем больше команд, тем подольше их делать);

· продолжительностью поиска сведений в документации;

· количеством команд, более действенных, чем использованные юзером, и др.

Производительность может также коснуться других ресурсов (к Метрики измерения помощи примеру, общей цены использования, израсходованных ресурсов оперативной, дисковой памяти и др.).

Производительность – это время, потраченное на выполнение задачки. При определении производительности должны быть известны: среднее время, потраченное на выполнение каждой задачки участниками, егодиапазон и стандартное отклонение. Пример метрики измерения производительности ПИприведен в таблице 8.

Таблица 8 – Эталон метрики измерения производительности

Производительность Аспект окончания Метрики измерения помощи тестирования Качествоработы Условия тестирования
После выполнения 5 сценариев покупки билета 75% юзеров будут в состоянии удачно приобрести билет в течение 10 минут Выполнена задачапокупки билета 75% пользователейв течение 10 минут Удачно купят билет Выполнениепяти сценариев покупки билетов

Информацию, приведенную в этой таблице,интерпретируютаналогично инфы, представленной в таблице 7.

Удовлетворенность

Удовлетворенность отражает личное отношение юзера к Метрики измерения помощи продукту и обычно измеряется в баллах. Пользовательская удовлетворенность – важнаяпричина использования продукта. Для измерения удовлетворенностииспользуют анкеты как стандартные, так и специально разработанные для тестирования в организациях. К стандартным анкетам относят: CUSI, QUIS, SUMI и SUS. Они созданы для личной оценки метрик Удовлетворенность, Практичность и Легкость использования продукта. По результатам анкетирования определяют количество юзеров, имеющих Метрики измерения помощи степень удовлетворенности продуктом 5,5 баллови выше по 10-балльной шкале. Считают, что в данном случае ПИ не просит доработки.

Пример анкеты для измерения удовлетворенности приведен в Приложении Д, а пример формальной анкеты для оценки веб-сайта – в Приложении Ж.

Пример описания метрики измерения удовлетворенности ПИ приведен в таблице 9.

Таблица Метрики измерения помощи 9 – Пример метрики измерения удовлетворенности ПИ

Удовлетворенность Критерийокончания тестирования Качество работы Условия тестирования
После реализациипяти сценариев задач85% юзеров оценят степень своейудовлетворенностиПИ 5,5 балламии выше(по 7- балльнойшкале) Оценка удовлетворенностивыполнением задачки85% юзеров – 5,5 баллов по7-балльнойшкале Степеньудовлетворенности Выполнениепяти сценариев задачки

Информацию, записанную в этой таблице,интерпретируютаналогично инфы в таблице 7.

Удовлетворенность может быть оценена также на Метрики измерения помощи базе поведения респондента. В данном случае тестеры подсчитывают количество проявленных реакций в процессе выполнения юзером задачки. Подсчитав количество проявленных реакций (огорчился, задумался, улыбнулся и др.), можно оценить удовлетворенность. Очевидно, эти оценки относительны; их ценность проявляется исключительно в сопоставлении с новым интерфейсом либо в сопоставлении с соперниками.

Примеры оценки критериев Метрики измерения помощи удовлетворенности юзера ПИ приведены в таблицах 10, 11.

Аннотация к наполнению таблицы:оцените по 5-балльной шкале степень вашей удовлетворенности ПИ при выполнении задачки, где 1 балл – совсем не согласен; 2 балла – быстрее, не согласен; 3 балла – затрудняюсь ответить; 4 – быстрее, согласен; 5 – совсем согласен.

Таблица 10 – Аспекты для определения удовлетворенности юзера

Аспект Реакция юзеров, балл
Совсем не согласен Быстрее Метрики измерения помощи, не согласен Затрудняюсь ответить Быстрее, согласен Совсем согласен
На выполнение задачки потребовалось больше времени, чем ждал
Задачку было просто выполнить
Выполнение задачки вызвало затруднение

Таблица 11 – Эталон формальной анкеты, оценивающей удовлетворенность юзера

Аспект Реакция юзеров
Нет Быстрее, нет Затрудняюсь ответить Быстрее, да Да
Шкала баллов
-2 -1 +1 +2
Во время выполнения задачки я ошибался
Система Метрики измерения помощи способна делать все, что мне необходимо и даже больше -1
Система работает довольно стремительно +1
Мне нравится внешний облик интерфейса +1
Я чувствую, что если лучше изучу систему, я смогу с ее помощью выполнить операции, о которых на данный момент даже и не подозреваю +2
Систему можно просто настроить под свои нужды
Начать Метрики измерения помощи работу было просто; я не столкнулся с существенными трудностями +1
Каждый раз, когда ошибался, я с легкостью замечал и исправлял свою ошибку
Я доволен скоростью собственной работы +1
Во время выполнения задачки ощущал себя полностью уверенно +2

Аннотация к наполнению таблицы:оцените по шкале баллов степень собственного согласия с предложенными аспектами Метрики измерения помощи последующим образом: центральный ответ оценивается нулем баллов, левый вариант ответа – 2 балла, правый – +2 балла, промежные значения – или -1, или +1 балл соответственно. Сумма баллов является сравниваемым значением.

На вопросы отвечают все юзеры, выполняющие тестирование. На базе заполненных анкет определяют степень удовлетворенности ПИ.

В отчете должны быть описаны все характеристики usabilityПИ (эффективность, производительность Метрики измерения помощи, удовлетворенность и метрики их измерения). В случае использования анкет их текст должен быть приведен в приложении, как и результаты анкетирования юзеров.

Для измерения характеристик usability ПИ в домашнем задании используйте метрики, приведенные в таблице 12.

Таблица 12 – Метрики измерения usability ПИ

Характеристики измерения usability ПИ Метрика измерения
Эффективность Часть юзеров, которые Метрики измерения помощи удачно выполнили задачку, относительно полного количества юзеров в группе, %
Производительность Время, затрачиваемое юзером на выполнение каждой задачки, также среднее его значение
Удовлетворенность Личная оценка удобства использования, измеренная по 5-балльной шкале. Текст формальной анкеты разрабатывают без помощи других на базе приведенных в примере анкет

3.4.5 Описание тестовых сценариев

Тестовый сценарий – это задание, которое Метрики измерения помощи юзер получает от тестера. Такое задание позволяет «провести» юзера через кусок интерфейса системы и найти свойства этого куска. Тестовый сценарий должен соответствовать пользовательским задачкам и иметь последующие характеристики:

· Однозначность.Тестовые задания должны быть сформулированы так, чтоб исключить их неправильное истолкование респондентом. Если респондент усвоит задание некорректно, то на верный путь Метрики измерения помощи его не получится навести, не подсказав последовательность выполнения задания.

· Достаточность. В тексте задания должна находиться вся информация, нужная для реализации этого задания.

· Краткость. Если скорость выполнения заданий фиксируют, то тексты заданий должны быть довольно короткими, чтоб продолжительность чтения респондентами не оказывала влияние на длительность выполнения самих заданий (так как Метрики измерения помощи люди читают с разной скоростью). Если текст будет массивным, придется самим сокращать продолжительность чтения каждого задания, что очень трудоемко.

· Отсутствие подсказок.Из текста не должно быть понятно, как это задание следует делать. К примеру, неприемлимо использовать терминологию системы.Заместо каждого термина необходимо обрисовывать его значение, по другому респонденты Метрики измерения помощи просто нажмут кнопки с теми же словами и никакие задачи не выявятся.

В задании должна находиться исходная точка его выполнения, т.е. должны быть описаны то окно, форма, страничка, на которых респондент находится сначала. Фиксировать исходную точку выполнения задания необходимо еще в конце работы над предшествующим заданием Метрики измерения помощи. Если выполнение задания начинается с незапятнанного листа, то в конце предшествующего задания должно быть написано «вернитесь на главную форму». Если задание должно начинаться с места, на котором завершилось выполнение предшествующего, то должны быть предусмотрены подсказки о последующих действиях респондента, к примеру, «закончив, не закрывайте текущее окно, останьтесь на этой форме».

Может быть Метрики измерения помощи, что на одну пользовательскую задачку необходимо будет написать несколько тестовых заданий. Обычный случай– задачка очень велика, чтоб ее можно было вместить в одно задание. Не считая того, если пользовательская задачка является личной, наименьший энтузиазм представляет то, как ее делают впервой, еще увлекательнее выяснить, как юзеры будут Метрики измерения помощи делать ее во 2-ой, 3-ий, 4-ый (и т.д.) разы. В данном случае в границах теста на одном респонденте следует «прогонять» эту задачку пару раз, всякий раз варьируя задания.

Для выполнения каждого тестового сценария выделяется определенное время. Количество тестовых заданий находится в зависимости от количества пользовательских задач. Каждое тестовое задание сопровождается Метрики измерения помощи аннотацией. Эталон инструкциипредставлен в Приложении Е.

Эталон тестового сценария приведен в таблице 13.

Таблица 13 – Эталон описания тестового сценария

Задачка юзера Тестовый сценарий
Распечатать текущую страничку документа редактора текста 1. Поместить курсор на текущую страничку и надавить левую кнопку мыши. 2. Вызвать окно опций печати, нажав CTL+P. 3. Установить в показавшемся окне «Настройка печати» кнопку Метрики измерения помощи «Текущая». 4. Установить в поле «Количество страниц» цифру 1. 5. Избрать в выпадающем перечне принтеров «Canon 860”. 6. Надавить кнопку «Печать».

В случае, если юзер выполнил часть задачки, в итоговой таблице указывают процент ее реализации. К примеру, если юзер выполнил п. 1, 2, 3, то он совладал с 50% задачки.

4 Проведение сравнительного usabilityтестирования ПИ

В согласовании с описанной Метрики измерения помощи методикой провести сравнительное usability-тестирование ПИ 2-ух веб-сайтов. Результаты тестирования всех задач должны быть представлены в виде итоговых таблиц, примеры наполнения которых приведены в таблицах 14 – 17.

Таблица 14 – Эффективность выполнения задачки (1 балл – выполнено, 0 –не выполнено)

Тестовое задание Респонденты Средний балл
0,8
0,8
0,8
0,8
0,8
Весь сценарий,%

Примечание.Задачка, обычно, считается выполненной, если юзер сумел стопроцентно Метрики измерения помощи совладать с ней.

Для обработки и внесения данных в результирующие таблицы можно использовать приложение Excel.

Таблица 15 –Результаты выполнения задачки 1

Номер юзера Времявыполнения задачки,с Количество ошибок Количествоподсказок
N
Среднее арифметическое значение
Стандартноеотклонение
Малое значение
Наибольшее значение

Таблица 16 – Сводныерезультаты выполнения всех задач

Номер юзера Общее времявыполнениявсех задач,с Метрики измерения помощи Полное количество ошибок Общееколичество подсказок
N
Среднее арифметическое значение
Стандартное отклонение
Малое значение
Наибольшее значение

Таблица 17 – Удовлетворенность, балл

Номер юзера Номер веб-сайта
N
Среднее арифметическое значение
Стандартное отклонение
Малое значение
Наибольшее значение

5 Анализ результатов usability-тестирования ПИ

Для интерпретации личных данных из анкет комфортно использовать гистограммы. Для доказательства достоверности проведенного тестирования употребляют статистические Метрики измерения помощи способы (к примеру, t-тесты, F-тесты, параметрические и непараметрические способы и др.).

Данные сопровождаются коротким описанием. Детализированное описание может быть введено в приложение.

6 Выводы о сравнительном usability-тестированииПИ

В выводах в короткой форме обрисовывают все трудности, выявленные в процессе тестирования, и приводят результирующие таблицы.


metodologicheskie-osnovi-racionalnoj-organizacii-zhiznedeyatelnosti.html
metodologicheskie-osnovi-upravleniya-zhilishno-kommunalnogo-hozyajstva-v-usloviyah-reformi-mestnogo-samoupravleniya-stranica-2.html
metodologicheskie-osobennosti-i-struktura-novoj-institucionalnoj-teorii.html