План тестирования образов ROSA

Аксиомы подготовки к тестированию образа

Давайте договоримся о следующих общих правилах тестирования системы.

I. После загрузки образа, обязательно проверяем md5 сумму.

II. Проводим тестирование рабочего стола (KDE, Gnome, LXDE …) используя только стандартную тему, идущую изначально в образе.

III. Тестирование остальных тем рабочего стола производим в самую последнюю очередь

IV. Перед тестированием не проводим никакой настройки системы и оборудования. Только в процессе тестирования занимаемся настройкой оборудования.

V. Если в процессе тестирования обнаружились проблемы с работой/настройкой оборудования, пишем «не рабочее» оборудование, все его данные (модель, производитель и т. д.).

VI. При каких-либо неполадках при обновлении системы, всегда пишем какие «зеркала» подключены и какие репозитории.

VII. При установке системы всегда форматируем раздел диска, на котором будет стоять тестируемая система, так же форматируем раздел /home (если таковой имеется отдельно).

План тестирования образа

Ниже приводится план по которому тестер должен проверять систему. Этот план не является окончательным. Надеюсь в процессе работы он будет дорабатываться, т. к. система развивается, и так же будет развиваться само планирование тестирования.

Подготовка образа

1. Записываем образ на два разных носителя: USB Flash и CD/DVD
2. Записываем образ на USB Flash двумя способами: командой dd и в системе Windows программой Unetbootin (если не оговорено иначе)
3. Проверяем загрузку системы с двух вышеприведенных носителей

Режим LiveCD

1. Проверяем запуск системы в режиме LiveCD с двух вышеприведенных носителей
2. Устанавливаем систему с любого носителя (если не оговорено иначе)
3. Обращаем внимание на соотношение выбора языка (рус.) при загрузке и языка рабочего стола в LiveCD режиме
4. Всегда смотрим загрузку памяти и процессора системы (статистика)
5. Проверяем работу сетевых компонентов (если есть возможность подключения без установки дополнительного драйвера сетевого устройства)
6. Проверяем запуск установленных приложений
7. Проверяем режим работы root пользователя

Установка образа

1. Проверяем локализацию программы установки
2. В процессе установки проверяем возможность отмены установки на любом ее шаге (аккуратнее работаем на шаге разбиения диска)
3. Проверяем возможность выбора тех или иных опций при установке системы (заложенных в программе установки)

Работа системы

1. После установки системы, первая загрузка. На нее не обращаем внимание. Перегружаемся второй раз и начинаем настраивать систему и оборудование
2. Все данные о загруженности процессора и потреблении памяти, записываем (снимаем скриншоты экрана) минут через 3-5 после второй перезагрузки компьютера.
3. Так же снимаем данные о загруженности системы (процессор, память) после 2х часов работы в установленной системе.
4. Все статистические данные о загрузке системы «снимаем» при полностью закрытых всех приложениях, т. е. При «стоячей» системе
5. Так же снимаем данные о загруженности системы при «нагрузке». Т.е. Например: запускаем в консоли ping до любого узла интернет (локальной сети), запускаем видео проигрыватель с показом любого фильма, запускаем браузер, включаем клиент обмена мгновенными сообщениями, открываем любой офисный файл, открываем любую фотографию, открываем файловый менеджер на копирование большого файла и т. д. (на ваш вкус). И проверяем потребление памяти и загруженность процессора. Это можно делать вне зависимости от времени работы системы (в любое удобное для вас время)
6. Если вы тестируете на ноутбуке систему, обязательно проверяем работу аккумуляторной батареи. Как система ведет себя при работе от АКБ и при работе от сети.
7. Если у вас есть wifi модуль, проверяем подключение и отключение по wifi нексколько раз (на ваше усмотрение), но не менее двух раз (вкл/выкл)
8. Если у вас есть Bluetooth модуль, проверяем подключение и отключение устройств по Bluetooth, аналогично проверке wifi модулей
9. Проверяем создание и изменение сетевых подключений в NetworkManager'е
10. Проверяем работу сетевых утилит, таких как: ping и traceroute (если есть изначально в образе)
11. В любом образе РОСА имеется рабочая среда (KDE, Gnome, LXDE …). У каждой есть несколько составляющих, это: Рабочий стол, Панель, Файловый менеджер, кнопка запуска Меню, виджеты. Поэтому надо проверять взаимодействие всех пяти составляющих между собой. Далее остановимся подробнее на каждом.

Файловый менеджер (Dolphin, Nautilus, PCmanFM...)

1. В каждом файловом менеджере есть масштаб отображения содержимого. Проверяем визуально на дефекты показа содержимого при разных масштабах
2. Каждый файловый менеджер проверяем на правильность отображения русифицированных данных (названия папок/файлов русскими именами)
3. Проверяем на правильность показа объема того или иного файла
4. Проверяем корректность копирования файла/папки, а так же нескольких файлов/папок
5. Проверяем корректность удаления файлов/папок в «Корзину» и восстановление из нее
6. Проверяем правильность переходов по разным уровням вложенности папок
7. Проверяем корректность работы «горячих клавиш»
8. Проверяем работу в двух панельном режиме (если таковой имеется в файловом менеджере)
9. Проверяем корректность работы «Точек входа», а так же добавление и удаление из панели «Точек входа» элементов
10. Проверяем работу файлового менеджера по сети. Т.е. Открываем любой ftp сервер из файлового менеджера и производим копирование любого файла с ftp сервера.
11. Проверяем корректность отображения иконок файлов и папок
12. Проверяем запуск второго окна файлового менеджера
13. Проверяем работу между двух открытых окон файлового менеджера. Т.е. Методом перетаскивания файла/папки из одного окна в другой
14. Проверяем методом перетаскивания файлов/папок из файлового менеджера на Рабочий стол
15. Проверяем работу контекстного меню (правая кнопка мыши)
16. Открываем настройки файлового менеджера и проверяем корректность исполнения настроек

Панель

1. Перетаскиваем иконки на панель
2. Удаляем иконки с панели
3. Настраиваем иконки на панели (если такая возможность предусмотрена)
4. Проверяем запуск всех приложений, иконки которых размещены на панели
5. Проверяем отображение даты/время, «Календаря», звука, индикатора клавиатуры, сети на панели
6. Проверяем запуск программ меню по кнопке «Меню»(Пуск)
7. Проверяем запуск программ из меню
8. Проверяем настройку пунктов меню (если предусмотрена такая возможность)
9. Проверяем добавление и удаление виджетов на панели
10. Перетаскиваем панель вверх/вниз и смотрим ее работу в разных «положениях»

Рабочий стол и Виджеты

1. Проверяем отображение, создание и удаление папок и файлов на рабочем столе
2. Проверяем работу рабочего стола методом перетаскивания объектов по нему
3. Проверяем смену фона рабочего стола
4. Проверяем работу виджетов на рабочем столе
5. Проверяем корректность отображения виджетов на рабочем столе
6. Проверяем настройки виджетов
7. В процессе тестирования обращаем внимание на не локализованные места в программах и их настройках
8. Для дальнейшего тестирования вам надо подготовить файлы разнообразного формата. Не всех, а хотя бы часто используемых. Например: файлы офисного пакета, видео файлы, аудио файлы, архивные файлы и т. д.
9. Открываем видео проигрыватель и проверяем проигрывание видео файлов разных форматов. Желательно чтобы тестируемые файлы требовали использование разных видео и аудио кодеков
10. Работу видео проигрывателя проверяем как в стандартном так и в полно экранном режимах
11. Открываем аудио проигрыватель и проверяем проигрывание аудио файлов разных форматов
12. Так же проверяем работу аудио проигрывателя с AudioCD дисками
13. Если в аудио проигрывателе предусмотрена работа с on-line радиостанциями, проверяем работу радиостанций
14. Проверяем тщательно работу браузера при отображении простых страниц, страниц с flash, страниц с формами для ввода данных и т. д.
15. Так же проверяем в браузере работу установленных по умолчанию дополнений
16. Проверяем работу клиента обмена мгновенными сообщениями. Если есть возможность, то проверяем его работу с несколькими протоколами (ICQ, MSN, Jabber, Yahoo и т. д.)
17. Проверяем работу программы для чтения электронной почты (если таковая имеется в образе)
18. Проверяем работу одновременно трех программ: браузера, почтового клиента и IM-клиента
19. Проверяем корректность настройки той или иной рабочей среды (KDE, Gnome LXDE...). Т.е. проверяем каждый пункт настройки.
20. Если позволяет оборудование, включаем графические эффекты и проверяем визуально искажение графической темы, рабочего стола, виджетов.
21. Так же при включенных эффектах проверяем запуск основных приложений
22. Проверяем работу всех пунктов меню ROSA Control Center (если таковой имеется в поставке образа).
23. Проверяем добавление и обновление «зеркал» (репозиториев) в графическом режиме.
24. Так же проверяем добавление и обновление «зеркал» (репозиториев) в консольном режиме
25. Проводим обновление системы как в графическом так и в консольном варианте. Проверяем идентичность работы в графическом и консольном вариантах. (Этот пункт делаем в том случае, если не оговорено иначе)

Приложения ROSA

RocketBar

1. Проверяем RocketBar аналогично вышеописанной проверке Панели

SimpleWelcome

1. В настройках рабочей среды KDE включаем поиск по метаданным (Nepomuk/Strigi) и проверяем работу TimeFrame
2. Проверяем запуск приложений из всех разделов SW
3. Проверяем отображение иконок в SW
4. Проверяем поиск через строку поиска
5. После установки какого-либо приложения, проверяем отображение его иконки в SW
6. Проверяем взаимодействие SW и RocketBar методом перетаскивания иконок

StackFolder

1. Проверяем работу всех двух папок.
2. Проверяем отображение иконок разных форматов файлов
3. Внутренний переход по вложенным папкам
4. Открытие файлов из вложенных папок
5. Проверяем работоспособность открытия папки из SF в файловом менеджере

Klook

1. Проверяем работу с файловым менеджером как на одном файле, так и на нескольких файлах одновременно
2. Проверяем отображение разных форматов файлов
3. Проверяем проигрывание, чтение разных форматов файлов
4. Проверяем запуск программы просмотра выбранного файла
5. Проверяем как работу в стандартном режиме. Так и в полно экранном