План тестирования образов ROSA
Содержание
Аксиомы подготовки к тестированию образа
Давайте договоримся о следующих общих правилах тестирования системы.
I. После загрузки образа, обязательно проверяем md5 сумму.
II. Проводим тестирование рабочего стола (KDE, Gnome, LXDE …) используя только стандартную тему, идущую изначально в образе.
III. Тестирование остальных тем рабочего стола производим в самую последнюю очередь
IV. Перед тестированием не проводим никакой настройки системы и оборудования. Только в процессе тестирования занимаемся настройкой оборудования.
V. Если в процессе тестирования обнаружились проблемы с работой/настройкой оборудования, пишем «не рабочее» оборудование, все его данные (модель, производитель и т. д.).
VI. При каких-либо неполадках при обновлении системы, всегда пишем какие «зеркала» подключены и какие репозитории.
VII. При установке системы всегда форматируем раздел диска, на котором будет стоять тестируемая система, так же форматируем раздел /home (если таковой имеется отдельно).
План тестирования образа
Ниже приводится план по которому тестер должен проверять систему. Этот план не является окончательным. Надеюсь в процессе работы он будет дорабатываться, т. к. система развивается, и так же будет развиваться само планирование тестирования.
Подготовка образа
- Записываем образ на два разных носителя: USB Flash и CD/DVD
- Записываем образ на USB Flash двумя способами: командой dd и в системе Windows программой Unetbootin (если не оговорено иначе)
- Проверяем загрузку системы с двух вышеприведенных носителей
Режим LiveCD
- Проверяем запуск системы в режиме LiveCD с двух вышеприведенных носителей
- Устанавливаем систему с любого носителя (если не оговорено иначе)
- Обращаем внимание на соотношение выбора языка (рус.) при загрузке и языка рабочего стола в LiveCD режиме
- Всегда смотрим загрузку памяти и процессора системы (статистика)
- Проверяем работу сетевых компонентов (если есть возможность подключения без установки дополнительного драйвера сетевого устройства)
- Проверяем запуск установленных приложений
- Проверяем режим работы root пользователя
Установка образа
- Проверяем локализацию программы установки
- В процессе установки проверяем возможность отмены установки на любом ее шаге (аккуратнее работаем на шаге разбиения диска)
- Проверяем возможность выбора тех или иных опций при установке системы (заложенных в программе установки)
Работа системы
- После установки системы, первая загрузка. На нее не обращаем внимание. Перегружаемся второй раз и начинаем настраивать систему и оборудование
- Все данные о загруженности процессора и потреблении памяти, записываем (снимаем скриншоты экрана) минут через 3-5 после второй перезагрузки компьютера.
- Так же снимаем данные о загруженности системы (процессор, память) после 2х часов работы в установленной системе.
- Все статистические данные о загрузке системы «снимаем» при полностью закрытых всех приложениях, т. е. При «стоячей» системе
- Так же снимаем данные о загруженности системы при «нагрузке». Т.е. Например: запускаем в консоли ping до любого узла интернет (локальной сети), запускаем видео проигрыватель с показом любого фильма, запускаем браузер, включаем клиент обмена мгновенными сообщениями, открываем любой офисный файл, открываем любую фотографию, открываем файловый менеджер на копирование большого файла и т. д. (на ваш вкус). И проверяем потребление памяти и загруженность процессора. Это можно делать вне зависимости от времени работы системы (в любое удобное для вас время)
- Если вы тестируете на ноутбуке систему, обязательно проверяем работу аккумуляторной батареи. Как система ведет себя при работе от АКБ и при работе от сети.
- Если у вас есть wifi модуль, проверяем подключение и отключение по wifi нексколько раз (на ваше усмотрение), но не менее двух раз (вкл/выкл)
- Если у вас есть Bluetooth модуль, проверяем подключение и отключение устройств по Bluetooth, аналогично проверке wifi модулей
- Проверяем создание и изменение сетевых подключений в NetworkManager'е
- Проверяем работу сетевых утилит, таких как: ping и traceroute (если есть изначально в образе)
- В любом образе РОСА имеется рабочая среда (KDE, Gnome, LXDE …). У каждой есть несколько составляющих, это: Рабочий стол, Панель, Файловый менеджер, кнопка запуска Меню, виджеты. Поэтому надо проверять взаимодействие всех пяти составляющих между собой. Далее остановимся подробнее на каждом.
Файловый менеджер (Dolphin, Nautilus, PCmanFM...)
- В каждом файловом менеджере есть масштаб отображения содержимого. Проверяем визуально на дефекты показа содержимого при разных масштабах
- Каждый файловый менеджер проверяем на правильность отображения русифицированных данных (названия папок/файлов русскими именами)
- Проверяем на правильность показа объема того или иного файла
- Проверяем корректность копирования файла/папки, а так же нескольких файлов/папок
- Проверяем корректность удаления файлов/папок в «Корзину» и восстановление из нее
- Проверяем правильность переходов по разным уровням вложенности папок
- Проверяем корректность работы «горячих клавиш»
- Проверяем работу в двух панельном режиме (если таковой имеется в файловом менеджере)
- Проверяем корректность работы «Точек входа», а так же добавление и удаление из панели «Точек входа» элементов
- Проверяем работу файлового менеджера по сети. Т.е. Открываем любой ftp сервер из файлового менеджера и производим копирование любого файла с ftp сервера.
- Проверяем корректность отображения иконок файлов и папок
- Проверяем запуск второго окна файлового менеджера
- Проверяем работу между двух открытых окон файлового менеджера. Т.е. Методом перетаскивания файла/папки из одного окна в другой
- Проверяем методом перетаскивания файлов/папок из файлового менеджера на Рабочий стол
- Проверяем работу контекстного меню (правая кнопка мыши)
- Открываем настройки файлового менеджера и проверяем корректность исполнения настроек
Панель
- Перетаскиваем иконки на панель
- Удаляем иконки с панели
- Настраиваем иконки на панели (если такая возможность предусмотрена)
- Проверяем запуск всех приложений, иконки которых размещены на панели
- Проверяем отображение даты/время, «Календаря», звука, индикатора клавиатуры, сети на панели
- Проверяем запуск программ меню по кнопке «Меню»(Пуск)
- Проверяем запуск программ из меню
- Проверяем настройку пунктов меню (если предусмотрена такая возможность)
- Проверяем добавление и удаление виджетов на панели
- Перетаскиваем панель вверх/вниз и смотрим ее работу в разных «положениях»
Рабочий стол и Виджеты
- Проверяем отображение, создание и удаление папок и файлов на рабочем столе
- Проверяем работу рабочего стола методом перетаскивания объектов по нему
- Проверяем смену фона рабочего стола
- Проверяем работу виджетов на рабочем столе
- Проверяем корректность отображения виджетов на рабочем столе
- Проверяем настройки виджетов
- В процессе тестирования обращаем внимание на не локализованные места в программах и их настройках
- Для дальнейшего тестирования вам надо подготовить файлы разнообразного формата. Не всех, а хотя бы часто используемых. Например: файлы офисного пакета, видео файлы, аудио файлы, архивные файлы и т. д.
- Открываем видео проигрыватель и проверяем проигрывание видео файлов разных форматов. Желательно чтобы тестируемые файлы требовали использование разных видео и аудио кодеков
- Работу видео проигрывателя проверяем как в стандартном так и в полно экранном режимах
- Открываем аудио проигрыватель и проверяем проигрывание аудио файлов разных форматов
- Так же проверяем работу аудио проигрывателя с AudioCD дисками
- Если в аудио проигрывателе предусмотрена работа с on-line радиостанциями, проверяем работу радиостанций
- Проверяем тщательно работу браузера при отображении простых страниц, страниц с flash, страниц с формами для ввода данных и т. д.
- Так же проверяем в браузере работу установленных по умолчанию дополнений
- Проверяем работу клиента обмена мгновенными сообщениями. Если есть возможность, то проверяем его работу с несколькими протоколами (ICQ, MSN, Jabber, Yahoo и т. д.)
- Проверяем работу программы для чтения электронной почты (если таковая имеется в образе)
- Проверяем работу одновременно трех программ: браузера, почтового клиента и IM-клиента
- Проверяем корректность настройки той или иной рабочей среды (KDE, Gnome LXDE...). Т.е. проверяем каждый пункт настройки.
- Если позволяет оборудование, включаем графические эффекты и проверяем визуально искажение графической темы, рабочего стола, виджетов.
- Так же при включенных эффектах проверяем запуск основных приложений
- Проверяем работу всех пунктов меню ROSA Control Center (если таковой имеется в поставке образа).
- Проверяем добавление и обновление «зеркал» (репозиториев) в графическом режиме.
- Так же проверяем добавление и обновление «зеркал» (репозиториев) в консольном режиме
- Проводим обновление системы как в графическом так и в консольном варианте. Проверяем идентичность работы в графическом и консольном вариантах. (Этот пункт делаем в том случае, если не оговорено иначе)
Приложения ROSA
RocketBar
- Проверяем RocketBar аналогично вышеописанной проверке Панели
SimpleWelcome
- В настройках рабочей среды KDE включаем поиск по метаданным (Nepomuk/Strigi) и проверяем работу TimeFrame
- Проверяем запуск приложений из всех разделов SW
- Проверяем отображение иконок в SW
- Проверяем поиск через строку поиска
- После установки какого-либо приложения, проверяем отображение его иконки в SW
- Проверяем взаимодействие SW и RocketBar методом перетаскивания иконок
StackFolder
- Проверяем работу всех двух папок.
- Проверяем отображение иконок разных форматов файлов
- Внутренний переход по вложенным папкам
- Открытие файлов из вложенных папок
- Проверяем работоспособность открытия папки из SF в файловом менеджере
Klook
- Тестирование проводим по Тест-плану тестирования Klook
SphereClient
- Проверяем работу по соединению с сервером.
- Поверяем работу по созданию кейсов
- Проверяем работу по загрузке прикрепленных файлов к кейсу