Improver — различия между версиями

Версия 14:16, 20 июня 2011

Основной режим выполнения тестов системы Мандрива/Роса для выявления особенностей и недоработок системы – при запущенной программе Импрувер. Исключение составляют те тестовые задания, которые относятся к установке и загрузке системы, работе с носителями и виртуальными машинами. Для данных тестов предусмотрен специальный план-протокол, заполняемый на Импрувере уже после фактического выполнения тестовых заданий. Импрувер — программная система, предназначенная для тестирования целевой операционной системы Мандрива/Роса. В систему Импрувер входит:

• клиентская часть,

• серверная часть,

• веб-приложение конфигурирования.

Клиентская часть состоит из программы для выполнения тест-планов Improver_client которая, отвечает за регистрацию пользователя, получение информации о программно-аппаратной составляющей рабочей станции, получение списка тест планов, выбор и прохождение тест-плана, отправку отчета на сервер. Программа включена в образ операционной системы и запускается из меню запуска приложений по ссылке "Тестирование".

Работа с Improver-client

Запуск программы осуществляется или через диалог быстрого вызова программы по «improver» или через меню запуска программ по «Приложения-Утилиты-Тестирование» или в терминале по «improver». Для запуска программы необходимы административные права, поскольку в программе вызываются системные утилиты lshw и dmidecode, собирающие информацию об аппаратной составляющей рабочей станции. После запуска программы появляется приветственное окно, сообщающее о том, что для тестирования системы необходима регистрация. Также выводится используемый для связи номер порта. Далее появляется окно регистрации, в котором необходимо ввести имя, фамилию, электронный почтовый адрес, и опционально — комментарий.

По нажатии на кнопки «Продолжить» происходит соединение с сервером, отправка регистрационной информации и получение списка тест-планов. Затем открывается окно со свободно доступными на выполнение тест-планами. Выбрать можно любой тест-план по желанию.

После выбора тест-плана и нажатия на кнопки «Продолжить» открывается выбранный тест-план. Предлагается ответить на ряд вопросов. В левом верхнем углу указаны номер текущего вопроса и общее количество вопросов в тест-плане. Ниже расположен текст вопроса.

Под текстом вопроса слева — варианты ответа, справа — поле комментария. При выборе ответа «Да» комментарий не обязателен, при выборе ответа «Нет» необходимо ввести уточняющий проблему комментарий. В программе настроены сочетания клавиш для быстрого доступа: Alt+1 для ответа "Да" и Alt+2 для ответа "Нет".

Ниже расположены кнопки создания снимков экрана — моментальный снимок экрана и снимок экрана с задержкой в три секунды. Правее кнопок создания снимков экрана расположена область, отражающая приложенные к ответу на вопрос файлы. Обычно это графические файлы снимков экрана, но также в некоторых вопросах возможно дополнительно присоединить пользовательский файл любого формата.

Переход к следующему вопросу тест-плана осуществляется по нажатию на кнопку «Продолжить». Переход к предыдущему вопросу тест-плана — по нажатию на кнопку «Назад». Если в процессе выполнения тест-плана вы закрыли программу, то при следующем запуске программы работа с тест-планом возобновится с последнего открытого вопроса.

После того как пройдены все вопросы тест-плана можно отправить отчёт по нажатию на кнопку «Отправить отчёт о тестировании». После отправки отчёта можно или пройти ещё один тест-план по нажатию на кнопку «Пройти ещё один тест-план» или выйти из программы по нажатию на кнопку «Выйти».

Разработчики Мандрива/Роса запрашивают следующий приоритетный список оборудования, необходимого для отладки системы на этапе релиз-кандидата:

Все ноутбуки на серии Nvidia Optimus, поддерживающие как программное так и аппаратное переключение видео

Любые новые ноутбуки с технологией AMD Avivo

Ноутбуки (нетбуки) с видеокартой Intel GMA500

Макбуки

Нетбуки с нестандартной конфигурацией

Видео-карты RADEON серий: r800, r700, r600, r520; NVidya: 200-500 серия, старые начиная с 3 поколения и заканчивая 8( geforce 3/4 + 6***/7***/8***) + мобильные аналоги указанных

Видео карты с выводом видео и звука по HDMI

Видеоадаптеры SIS

Многомониторные конфигурации

Массовый сегмент неплохих звуковых карт (начиная от класса Creative)

Новые чипсеты: x58, p55, p67, am3+, в том числе с поддержкой UEFI bios

Системники работающие в конфигурации multiseat

"Экзотические" процессоры вроде Via C2000 и чипсеты для них

Материнские платы с контроллерами CD/DVD - JMicron

Максимально широкий спектр оборудования где жесткие диски SATA подключены через AHCI

SSD диски + хитрые рейдовые массивы ( 1+0, 6 )

Как можно больше внешних wifi донглов и внутренних карт

3G - модемы от Билайна, Мегафона и МТС - особенно ZTE

Модемы от Йоты

Модемы от SkyLink

Любые мобильные телефоны

Фотоаппараты не определяющиеся как флешки (как правило их определяет какой-либо софт работающий с GPHOTO2)

Любые принтеры - особенно Win-принтеры.

Интерактивные доски

Web-камеры Logitech (особенно в связке со Skype)

Любые Bluetooth устройства, особенно мышки и клавиатуры.

Тестирование Роса/Мандрива включает следующие тест-планы

1. План-протокол, заполняемый на Импрувере после сбора результатов тестов по подготовке носителей, установке и загрузке, а также работе с виртуальными машинами

1.1 Загрузочный DVD-диск успешно записан утилитой Windows (указать какой)

1.2 Загрузочный DVD-диск успешно записан Growisofs и прочих LINUX утилит (указать)

1.3 Загрузочный DVD-диск успешно записан утилитой dd, команда вида: dd if=image.iso of=/dev/sd…

2.1 При загрузке c полученного DVD-диска в live режиме корректно проходят все этапы 1-го старта. (В случае ошибки приложить полный текст ошибки, возникающей при проблеме с загрузкой.)

2.2 При загрузке в режиме LIVE пользователем live логинится автоматом

2.3 При загрузке в режиме LIVE отсутствуют лишние запросы данных. (В случае сомнений перечислить какие запрашиваются.)

2.4 На каждом этапе загрузки присутствует splash screen выраженного цвета. В случае отсутствия или сомнений в качестве, приложить к отчету скриншот.

2.5 В качестве grub/syslinux splash, plymouth splash, ksplash используются фирменные темыдистрибутива.

2.6 Корректно отрабатывается алгоритм Завершить сеанс

2.7 Корректно отрабатывается алгоритм Заблокировать

2.8 Корректно отрабатывается алгоритм Переключить пользователя

2.9 Корректно отрабатывается алгоритм Ждущий режим

2.10 Корректно отрабатывается алгоритм Перезагрузить: После рестарта системы не должно быть изменений на пользовательском ПК (обратите внимание на загрузочную запись жёсткого диска и настройки системного времени)

2.11 Корректно отрабатывается алгоритм Перезагрузить: Выключить: После рестарта системы не должно быть изменений на жёстком диске ПК (обратите внимание на загрузочную запись жёсткого диска и настройки системного времени)

3.1 От имени root ввести в консоли команду rpm -qa |grep livecd. Пакет присутствует? (Скопировать вывод в примечание)

3.2 Записать загрузочный образ на флэш-носитель командой вида livecd-iso-to-disk /path/image.iso /dev/sd… Результатом должен быть флеш носитель с 2 папками DATA и SYSTEM, с него должна успешно стартовать система.

4.1 При загрузке c полученного USB-диска в live режиме корректно прходят все этапы 1-го старта. (В случае ошибки приложить полный текст ошибки, возникающей при проблеме с загрузкой.)

4.2 При загрузке c полученного USB-диска в live режиме Пользователем live логинится автоматом

4.6 Присутствуют ли лишние запросы данных при загрузке? (Перечислить какие запрашиваются)

4.7 На каждом этапе загрузки присутствует splash screen выраженного цвета. В случае отсутствия или сомнений в качестве, приложить к отчету скриншот.

4.8 После загрузки c полученного флэш-диска в live режиме можно сохранять файлы в корне системы и в других папках. (указать ограничения)

4.9 Попытаться вносить пользовательские изменения в систему: изменить виджеты, удалить rpm-пакет (удалять надо корректно, например, пакет kde-l10n-en_GB или любой другой с опцией --nodeps. В примечании указать, что именно сделано и предоставить вывод rpm -qa |grep... )

4.10 Перезагрузить: После рестарта системы сделанные изменения должны воспроизводиться. (В случае несохранения изменений приложить подробный отчет, как проводилась проверка и вывод команды cat /etc/sysconfig/draklive-install)

4.11 Выключить: После рестарта системы сделанные изменения должны воспроизводиться. (В случае несохранения изменений приложить подробный отчет, как проводилась проверка и вывод команды cat /etc/sysconfig/draklive-install)

4.12 Из изменённого дистрибутива на флэш-носителе из ЛАЙВ-режима выполнить установку системы на жёсткий диск (в консоли draklive-install и далее все этапы) и убедиться, что изменения сохраняются и функционируют в установленной системе, предоставить вывод rpm -qa |grep… и/или скриншоты.

5 Выполнить установку системы с DVD-диска в режиме Install System. В случае проблем с установкой, загрузиться в режиме live и запустить инсталлятор из консоли с помощью команды draklive-install-lock-storage и после появления ошибки приложить вывод консоли к отчету.

5.1 Графическая тема draklive-install соответствует марке дистрибутива

5.2 В процессе установке отсутствуют проблемы (“зависания”) при определении оборудования и видеорежимов (даже в случае неподдерживаемого видеоадаптера)

5.3 Сеть при её физической доступности поднимается автоматически и запускается автоматическое обновление пакетов.

5.4 На каждом шаге корректно выполняются все действия предлагаемые в форме шага (весь представленный функционал работает). Отработайте все предлагаемые мастером установки опции выбора, пропуская/выбирая различные опциональные пункты, например удаление ненужных пакетов. Подробно опишите проблемы при их наличии.

5.5 После установки имеется возможность загрузить другую ОС ранее установленную на компьютере.

6 Выполнить установку системы с USB-диска в режиме Install System. В случае проблем с установкой, загрузиться в режиме live и запустить инсталлятор из консоли с помощью команды draklive-install-lock-storage и после появления ошибки приложить вывод консоли к отчету.

6.1 Графическая тема draklive-install соответствует марке дистрибутива

6.2 В процессе установке отсутствуют проблемы (“зависания”) при определении оборудования и видеорежимов (даже в случае неподдерживаемого видеоадаптера)

6.3 Сеть при её физической доступности поднимается автоматически и запускается автоматическое обновление пакетов.

6.4 На каждом шаге корректно выполняются все действия предлагаемые в форме шага (весь представленный функционал работает). Отработайте все предлагаемые мастером установки опции выбора, пропуская/выбирая различные опциональные пункты, например удаление ненужных пакетов.Подробно опишите проблемы при их наличии.

6.5 После установки имеется возможность загрузить другую ОС ранее установленную на компьютере (укажите какую).

7.0.1 Выберите хостовую платформу и установите бесплатную версию виртуальной машины VMPlayer http://downloads.vmware.com/d/info/desktop_downloads/vmware_player/3_0

7.0.2 Выберите хостовую платформу и установите бесплатную версию виртуальной машины Oracle VirtualBox http://www.virtualbox.org/wiki/Downloads

7.0.3 Выберите хостовую платформу и установитебесплатную версию виртуальной машины Parallels

7.1.1 Для виртуальной машины Oracle VirtualBox подберите конфигурации виртуального процессора/памяти/диска/видео-памяти так, чтобы система могла загрузиться в LIVE-режиме. При запуске машины выберите LAUNCH SYSTEM. Система должна полностью загрузиться, сеть - подняться автоматически. Из хостовой системы выполните скриншоты, показывающие процесс и результат загрузки LIVE-режима в VirtualBox. Скриншоты из хостовой системы выполняйте так чтобы виртуальная машина не находилась в полноэкранном режиме.

7.1.1.1 Протестируйте предустановленные виджеты на панели задач, включая StackFolder, зафиксируйте скриншотами из хостовой системы.

7.1.1.2 Протестируйте запуск всех приложений из меню запуска; в консоли от root введите uname -a; запуск приложений и консольный вывод зафиксируйте скриншотами из хостовой системы.

7.1.1.3 Выполните простые репрезентативные операции с системой - откройте ВЕБ-сайт, введите консольные команды. Прокомментируйте работу LIVE-режима в Oracle VirtualBox - скорость, устойчивость, сбои (при наличии).

7.1.2 Установите систему на виртуальный жёсткий диск Oracle VirtualBox выбором пункта INSTALL SYSTEM при загрузке

7.1.2.1 Из хостовой системы выполните скриншоты, показывающие процесс и результат установки в VirtualBox. Опишите проблемы или особенности при их наличии.

7.1.2.2 Протестируйте предустановленные виджеты на панели задач, включая StackFolder, зафиксируйте скриншотами из хостовой системы.

7.1.2.3 Протестируйте запуск всех приложений из меню запуска; в консоли от root введите uname -a; запуск приложений и консольный вывод зафиксируйте скриншотами из хостовой системы.

7.1.2.4 Выполните простые репрезентативные операции с системой - откройте ВЕБ-сайт, введите консольные команды. Прокомментируйте работу установленной системы в Oracle VirtualBox - скорость, устойчивость, сбои (при наличии).

7.2.1 Для виртуальной машины VMPlayer подберите конфигурации виртуального процессора/памяти/диска/видео-памяти так, чтобы система могла загрузиться в LIVE-режиме. При запуске машины выберите LAUNCH SYSTEM. Система должна полностью загрузиться, сеть - подняться автоматически. Из хостовой системы выполните скриншоты, показывающие процесс и результат загрузки LIVE-режима в VMPlayer. Скриншоты из хостовой системы выполняйте так чтобы виртуальная машина не находилась в полноэкранном режиме.

7.2.1.1 Протестируйте предустановленные виджеты на панели задач, включая StackFolder, зафиксируйте скриншотами из хостовой системы.

7.2.1.2 Протестируйте запуск всех приложений из меню запуска; в консоли от root введите uname -a; запуск приложений и консольный вывод зафиксируйте скриншотами из хостовой системы.

7.2.1.3 Выполните простые репрезентативные операции с системой - откройте ВЕБ-сайт, введите консольные команды. Прокомментируйте работу LIVE-режима в VMPlayer - скорость, устойчивость, сбои (при наличии).

7.2.2 Установите систему на виртуальный жёсткий диск VMPlayer выбором пункта INSTALL SYSTEM при загрузке

7.2.2.1 Из хостовой системы выполните скриншоты, показывающие процесс и результат установки в VMPlayer. Опишите проблемы или особенности при их наличии.

7.2.2.2 Протестируйте предустановленные виджеты на панели задач, включая StackFolder, зафиксируйте скриншотами из хостовой системы.

7.2.2.3 Протестируйте запуск всех приложений из меню запуска; в консоли от root введите uname -a; запуск приложений и консольный вывод зафиксируйте скриншотами из хостовой системы.

7.2.2.4 На установленной в VMPlayer системе выполните установку VMTools. Для запуска установщика используйте команду perl ./vmware-install.pl Приложите архив скриношотов.

7.2.2.5 Выполните простые репрезентативные операции с системой - откройте ВЕБ-сайт, введите консольные команды. Прокомментируйте работу установленной системы в VMPlayer - скорость, устойчивость, сбои (при наличии).

7.3.1 Для виртуальной машины Parallels подберите конфигурации виртуального процессора/памяти/диска/видео-памяти так, чтобы система могла загрузиться в LIVE-режиме. При запуске машины выберите LAUNCH SYSTEM. Система должна полностью загрузиться, сеть - подняться автоматически. Из хостовой системы выполните скриншоты, показывающие процесс и результат загрузки LIVE-режима в VirtualBox. Скриншоты из хостовой системы выполняйте так чтобы виртуальная машина не находилась в полноэкранном режиме.

7.3.1.1 Протестируйте предустановленные виджеты на панели задач, включая StackFolder, зафиксируйте скриншотами из хостовой системы.

7.3.1.2 Протестируйте запуск всех приложений из меню запуска; в консоли от root введите uname -a; запуск приложений и консольный вывод зафиксируйте скриншотами из хостовой системы.

7.3.1.3 Выполните простые репрезентативные операции с системой - откройте ВЕБ-сайт, введите консольные команды. Прокомментируйте работу LIVE-режима в Oracle VirtualBox - скорость, устойчивость, сбои (при наличии).

7.3.2 Установите систему на виртуальный жёсткий диск Parallels выбором пункта INSTALL SYSTEM при загрузке

7.3.2.1 Из хостовой системы выполните скриншоты, показывающие процесс и результат установки в VirtualBox. Опишите проблемы или особенности при их наличии.

7.3.2.2 Протестируйте предустановленные виджеты на панели задач, включая StackFolder, зафиксируйте скриншотами из хостовой системы.

7.3.2.3 Протестируйте запуск всех приложений из меню запуска; в консоли от root введите uname -a; запуск приложений и консольный вывод зафиксируйте скриншотами из хостовой системы.

7.3.2.4 Выполните простые репрезентативные операции с системой - откройте ВЕБ-сайт, введите консольные команды. Прокомментируйте работу установленной системы в Oracle VirtualBox - скорость, устойчивость, сбои (при наличии).

2) Тест-план для LIVE-DVD – выполняется из режима LIVE-DVD (на нетбуках LIVE-USB)

3) Основной тест-план – выполняется на установленной на жёсткий диск системе

4) Тест-план для основных модулей настройки системы - выполняется как на установленной системе, так и из LIVE-режима.