План тестирования образов ROSA

Аксиомы подготовки к тестированию образа

Давайте договоримся о следующих общих правилах тестирования системы.

I. После загрузки образа, обязательно проверяем md5 сумму (Тестирование md5 суммы ISO образа.)

II. Проводим тестирование рабочего стола (KDE, Gnome, LXDE …) используя только стандартную тему, идущую изначально в образе.

III. Тестирование остальных тем рабочего стола производим в самую последнюю очередь

IV. Перед тестированием не проводим никакой настройки системы и оборудования. Только в процессе тестирования занимаемся настройкой оборудования.

V. Если в процессе тестирования обнаружились проблемы с работой/настройкой оборудования, пишем «не рабочее» оборудование, все его данные (модель, производитель и т. д.).

VI. При каких-либо неполадках при обновлении системы, всегда пишем какие «зеркала» подключены и какие репозитории.

VII. При установке системы всегда форматируем раздел диска, на котором будет стоять тестируемая система, так же форматируем раздел /home (если таковой имеется отдельно).

План тестирования образа

Ниже приводится план по которому тестер должен проверять систему. Этот план не является окончательным. Надеюсь в процессе работы он будет дорабатываться, т. к. система развивается, и так же будет развиваться само планирование тестирования.

Подготовка образа

1. Проверяем MD5 сумму скачанного образа
2. Проверяем образ на гибридность
3. Записываем образ на два разных носителя: USB Flash и CD/DVD
4. Записываем образ на USB Flash двумя способами: командой dd и в системе Windows программой Unetbootin (если не оговорено иначе)
5. Проверяем загрузку системы с двух вышеприведенных носителей

Режим LiveCD

1. Проверяем запуск системы в режиме LiveCD с двух вышеприведенных носителей
2. Устанавливаем систему с любого носителя (если не оговорено иначе)
3. Обращаем внимание на соотношение выбора языка (рус.) при загрузке и языка рабочего стола в LiveCD режиме
4. Всегда смотрим загрузку памяти и процессора системы (статистика)
5. Проверяем работу сетевых компонентов (если есть возможность подключения без установки дополнительного драйвера сетевого устройства)
6. Проверяем запуск установленных приложений
7. Проверяем режим работы root пользователя

Установка образа

1. Проверяем установку образа по Тест-плану

Работа системы

1. После установки системы, первая загрузка. На нее не обращаем внимание. Перегружаемся второй раз и начинаем настраивать систему и оборудование
2. Все данные о загруженности процессора и потреблении памяти, записываем (снимаем скриншоты экрана) минут через 3-5 после второй перезагрузки компьютера.
3. Так же снимаем данные о загруженности системы (процессор, память) после 2х часов работы в установленной системе.
4. Все статистические данные о загрузке системы «снимаем» при полностью закрытых всех приложениях, т. е. При «стоячей» системе
5. Так же снимаем данные о загруженности системы при «нагрузке». Т.е. Например: запускаем в консоли ping до любого узла интернет (локальной сети), запускаем видео проигрыватель с показом любого фильма, запускаем браузер, включаем клиент обмена мгновенными сообщениями, открываем любой офисный файл, открываем любую фотографию, открываем файловый менеджер на копирование большого файла и т. д. (на ваш вкус). И проверяем потребление памяти и загруженность процессора. Это можно делать вне зависимости от времени работы системы (в любое удобное для вас время)
6. Если вы тестируете на ноутбуке систему, обязательно проверяем работу аккумуляторной батареи. Как система ведет себя при работе от АКБ и при работе от сети.
7. Если у вас есть wifi модуль, проверяем подключение и отключение по wifi несколько раз (на ваше усмотрение), но не менее двух раз (вкл/выкл)
8. Если у вас есть Bluetooth модуль, проверяем подключение и отключение устройств по Bluetooth, аналогично проверке wifi модулей
9. Проверяем создание и изменение сетевых подключений в NetworkManager'е
10. Проверяем работу сетевых утилит, таких как: ping и traceroute (если есть изначально в образе)
11. В любом образе РОСА имеется рабочая среда (KDE, Gnome, LXDE …). У каждой есть несколько составляющих, это: Рабочий стол, Панель, Файловый менеджер, кнопка запуска Меню, виджеты. Поэтому надо проверять взаимодействие всех пяти составляющих между собой. Далее остановимся подробнее на каждом.

Файловый менеджер

1. Тестирование Dolphin проводим по Тест-плану
2. Тестирование Nautilus проводим по Тест-плану
3. Тестирование PCmanFM проводим по Тест-плану

Панель

1. Перетаскиваем иконки на панель
2. Удаляем иконки с панели
3. Настраиваем иконки на панели (если такая возможность предусмотрена)
4. Проверяем запуск всех приложений, иконки которых размещены на панели
5. Проверяем отображение даты/время, «Календаря», звука, индикатора клавиатуры, сети на панели
6. Проверяем запуск программ меню по кнопке «Меню»(Пуск)
7. Проверяем запуск программ из меню
8. Проверяем настройку пунктов меню (если предусмотрена такая возможность)
9. Проверяем добавление и удаление виджетов на панели
10. Перетаскиваем панель вверх/вниз и смотрим ее работу в разных «положениях»

Рабочий стол и Виджеты

1. Для KDE проверяем работу Плазмы (Рабочего стола) по тест-плану.
2. В процессе тестирования обращаем внимание на не локализованные места в программах и их настройках
3. Для дальнейшего тестирования вам надо подготовить файлы разнообразного формата. Не всех, а хотя бы часто используемых. Например: файлы офисного пакета, видео файлы, аудио файлы, архивные файлы и т. д.
4. Открываем видео проигрыватель и проверяем проигрывание видео файлов разных форматов. Желательно чтобы тестируемые файлы требовали использование разных видео и аудио кодеков
5. Работу видео проигрывателя проверяем как в стандартном так и в полно экранном режимах
6. Открываем аудио проигрыватель и проверяем проигрывание аудио файлов разных форматов
7. Так же проверяем работу аудио проигрывателя с AudioCD дисками
8. Если в аудио проигрывателе предусмотрена работа с on-line радиостанциями, проверяем работу радиостанций
9. Проверяем тщательно работу браузера при отображении простых страниц, страниц с flash, страниц с формами для ввода данных и т. д.
10. Так же проверяем в браузере работу установленных по умолчанию дополнений
11. Проверяем работу клиента обмена мгновенными сообщениями. Если есть возможность, то проверяем его работу с несколькими протоколами (ICQ, MSN, Jabber, Yahoo и т. д.)
12. Проверяем работу программы для чтения электронной почты (если таковая имеется в образе)
13. Проверяем работу браузера
14. Проверяем работу IM-клиента
15. Проверяем работу одновременно трех программ: браузера, почтового клиента и IM-клиента
16. Проверяем корректность настройки той или иной рабочей среды (KDE, Gnome LXDE...). Т.е. проверяем каждый пункт настройки.
17. Если позволяет оборудование, включаем графические эффекты и проверяем визуально искажение графической темы, рабочего стола, виджетов.
18. Так же при включенных эффектах проверяем запуск основных приложений
19. Проверяем работу всех пунктов меню ROSA Control Center (если таковой имеется в поставке образа).
20. Проверяем добавление и обновление «зеркал» (репозиториев) в графическом режиме.
21. Так же проверяем добавление и обновление «зеркал» (репозиториев) в консольном режиме
22. Проводим обновление системы как в графическом так и в консольном варианте. Проверяем идентичность работы в графическом и консольном вариантах. (Этот пункт делаем в том случае, если не оговорено иначе)

Приложения ROSA

RocketBar

1. Проверяем RocketBar аналогично вышеописанной проверке Панели

SimpleWelcome

1. В настройках рабочей среды KDE включаем поиск по метаданным (Nepomuk/Strigi) и проверяем работу TimeFrame
2. Проверяем запуск приложений из всех разделов SW
3. Проверяем отображение иконок в SW
4. Проверяем поиск через строку поиска
5. После установки какого-либо приложения, проверяем отображение его иконки в SW
6. Проверяем взаимодействие SW и RocketBar методом перетаскивания иконок

StackFolder

1. Проверяем работу всех двух папок.
2. Проверяем отображение иконок разных форматов файлов
3. Внутренний переход по вложенным папкам
4. Открытие файлов из вложенных папок
5. Проверяем работоспособность открытия папки из SF в файловом менеджере

Klook

1. Тестирование проводим по Тест-плану тестирования Klook

SphereClient

1. Проверяем работу по соединению с сервером.
2. Поверяем работу по созданию кейсов
3. Проверяем работу по загрузке прикрепленных файлов к кейсу