План тестирования образов ROSA
Аксиомы подготовки к тестированию образа
Давайте договоримся о следующих общих правилах тестирования системы.
I. После загрузки образа, обязательно проверяем md5 сумму (Тестирование md5 суммы ISO образа.)
II. Проводим тестирование рабочего стола (KDE, Gnome, LXDE …) используя только стандартную тему, идущую изначально в образе.
III. Тестирование остальных тем рабочего стола производим в самую последнюю очередь
IV. Перед тестированием не проводим никакой настройки системы и оборудования. Только в процессе тестирования занимаемся настройкой оборудования.
V. Если в процессе тестирования обнаружились проблемы с работой/настройкой оборудования, пишем «не рабочее» оборудование, все его данные (модель, производитель и т. д.).
VI. При каких-либо неполадках при обновлении системы, всегда пишем какие «зеркала» подключены и какие репозитории.
VII. При установке системы всегда форматируем раздел диска, на котором будет стоять тестируемая система, так же форматируем раздел /home (если таковой имеется отдельно).
План тестирования образа
Ниже приводится план по которому тестер должен проверять систему. Этот план не является окончательным. Надеюсь в процессе работы он будет дорабатываться, т. к. система развивается, и так же будет развиваться само планирование тестирования.
Подготовка образа
- Проверяем MD5 сумму скачанного образа
- Проверяем образ на гибридность
- Записываем образ на два разных носителя: USB Flash и CD/DVD
- Записываем образ на USB Flash двумя способами: командой dd и в системе Windows программой Unetbootin (если не оговорено иначе)
- Проверяем загрузку системы с двух вышеприведенных носителей
Режим LiveCD
- Проверяем запуск системы в режиме LiveCD с двух вышеприведенных носителей
- Устанавливаем систему с любого носителя (если не оговорено иначе)
- Обращаем внимание на соотношение выбора языка (рус.) при загрузке и языка рабочего стола в LiveCD режиме
- Всегда смотрим загрузку памяти и процессора системы (статистика)
- Проверяем работу сетевых компонентов (если есть возможность подключения без установки дополнительного драйвера сетевого устройства)
- Проверяем запуск установленных приложений
- Проверяем режим работы root пользователя
Установка образа
Работа системы
- После установки системы, первая загрузка. На нее не обращаем внимание. Перегружаемся второй раз и начинаем настраивать систему и оборудование
- Все данные о загруженности процессора и потреблении памяти, записываем (снимаем скриншоты экрана) минут через 3-5 после второй перезагрузки компьютера.
- Так же снимаем данные о загруженности системы (процессор, память) после 2х часов работы в установленной системе.
- Все статистические данные о загрузке системы «снимаем» при полностью закрытых всех приложениях, т. е. При «стоячей» системе
- Так же снимаем данные о загруженности системы при «нагрузке». Т.е. Например: запускаем в консоли ping до любого узла интернет (локальной сети), запускаем видео проигрыватель с показом любого фильма, запускаем браузер, включаем клиент обмена мгновенными сообщениями, открываем любой офисный файл, открываем любую фотографию, открываем файловый менеджер на копирование большого файла и т. д. (на ваш вкус). И проверяем потребление памяти и загруженность процессора. Это можно делать вне зависимости от времени работы системы (в любое удобное для вас время)
- Если вы тестируете на ноутбуке систему, обязательно проверяем работу аккумуляторной батареи. Как система ведет себя при работе от АКБ и при работе от сети.
- Если у вас есть wifi модуль, проверяем подключение и отключение по wifi несколько раз (на ваше усмотрение), но не менее двух раз (вкл/выкл)
- Если у вас есть Bluetooth модуль, проверяем подключение и отключение устройств по Bluetooth, аналогично проверке wifi модулей
- Проверяем создание и изменение сетевых подключений в NetworkManager'е
- Проверяем работу сетевых утилит, таких как: ping и traceroute (если есть изначально в образе)
- В любом образе РОСА имеется рабочая среда (KDE, Gnome, LXDE …). У каждой есть несколько составляющих, это: Рабочий стол, Панель, Файловый менеджер, кнопка запуска Меню, виджеты. Поэтому надо проверять взаимодействие всех пяти составляющих между собой. Далее остановимся подробнее на каждом.
Файловый менеджер
- Тестирование Dolphin проводим по Тест-плану
- Тестирование Nautilus проводим по Тест-плану
- Тестирование PCmanFM проводим по Тест-плану
Панель
- Проверяем работу панели RocketBar по тест-плану
- Проверяем работу стандартной панели
Рабочий стол и Виджеты
- Для KDE проверяем работу Плазмы (Рабочего стола) по тест-плану.
- В процессе тестирования обращаем внимание на не локализованные места в программах и их настройках
- Для KDE проверяем тестирование медиа плеера ROMP по тест-плану
- Открываем аудио проигрыватель и проверяем проигрывание аудио файлов разных форматов
- Так же проверяем работу аудио проигрывателя с AudioCD дисками
- Если в аудио проигрывателе предусмотрена работа с on-line радиостанциями, проверяем работу радиостанций
- Проверяем работу браузера по тест-плану
- Проверяем работу клиента обмена мгновенными сообщениями по тест-плану.
- Проверяем работу программы для чтения электронной почты (если таковая имеется в образе)
- Проверяем работу одновременно трех программ: браузера, почтового клиента и IM-клиента
- Проверяем корректность настройки той или иной рабочей среды (KDE, Gnome LXDE...). Т.е. проверяем каждый пункт настройки.
- Если позволяет оборудование, включаем графические эффекты и проверяем визуально искажение графической темы, рабочего стола, виджетов.
- Так же при включенных эффектах проверяем запуск основных приложений
- Проверяем работу всех пунктов меню ROSA Control Center (если таковой имеется в поставке образа).
- Проверяем обновления системы, репозитории по тест-плану.
Приложения ROSA
RocketBar
- Проверяем работу панели RocketBar по тест-плану
SimpleWelcome
- Проверяем работу SimpleWelcome по тест-плану
StackFolder
- Проверяем работу StackFolder по тест-плану
Klook
- Тестирование проводим по Тест-плану тестирования Klook
SphereClient
- Проверяем работу по соединению с сервером.
- Поверяем работу по созданию кейсов
- Проверяем работу по загрузке прикрепленных файлов к кейсу
Rosa Media Player (ROMP)
- Проводим тестирование ROMP по тест-плану