Improver
Основной режим выполнения тестов системы Мандрива/Роса для выявления особенностей и недоработок системы – при запущенной программе Импрувер. Исключение составляют те тестовые задания, которые относятся к установке и загрузке системы, работе с носителями и виртуальными машинами. Для данных тестов предусмотрен специальный план-протокол, заполняемый на Импрувере уже после фактического выполнения тестовых заданий. Импрувер — программная система, предназначенная для тестирования целевой операционной системы Мандрива/Роса. В систему Импрувер входит:
• клиентская часть,
• серверная часть,
• веб-приложение конфигурирования.
Клиентская часть состоит из программы для выполнения тест-планов Improver_client которая, отвечает за регистрацию пользователя, получение информации о программно-аппаратной составляющей рабочей станции, получение списка тест планов, выбор и прохождение тест-плана, отправку отчета на сервер. Программа включена в образ операционной системы и запускается из меню запуска приложений по ссылке "Тестирование".
Работа с Improver-client
Запуск программы осуществляется или через диалог быстрого вызова программы по «improver» или через меню запуска программ по «Приложения-Утилиты-Тестирование» или в терминале по «improver». Для запуска программы необходимы административные права, поскольку в программе вызываются системные утилиты lshw и dmidecode, собирающие информацию об аппаратной составляющей рабочей станции. После запуска программы появляется приветственное окно, сообщающее о том, что для тестирования системы необходима регистрация. Также выводится используемый для связи номер порта. Далее появляется окно регистрации, в котором необходимо ввести имя, фамилию, электронный почтовый адрес, и опционально — комментарий.
По нажатии на кнопки «Продолжить» происходит соединение с сервером, отправка регистрационной информации и получение списка тест-планов. Затем открывается окно со свободно доступными на выполнение тест-планами. Выбрать можно любой тест-план по желанию.
После выбора тест-плана и нажатия на кнопки «Продолжить» открывается выбранный тест-план. Предлагается ответить на ряд вопросов. В левом верхнем углу указаны номер текущего вопроса и общее количество вопросов в тест-плане. Ниже расположен текст вопроса.
Под текстом вопроса слева — варианты ответа, справа — поле комментария. При выборе ответа «Да» комментарий не обязателен, при выборе ответа «Нет» необходимо ввести уточняющий проблему комментарий. В программе настроены сочетания клавиш для быстрого доступа: Alt+1 для ответа "Да" и Alt+2 для ответа "Нет".
Ниже расположены кнопки создания снимков экрана — моментальный снимок экрана и снимок экрана с задержкой в три секунды. Правее кнопок создания снимков экрана расположена область, отражающая приложенные к ответу на вопрос файлы. Обычно это графические файлы снимков экрана, но также в некоторых вопросах возможно дополнительно присоединить пользовательский файл любого формата.
Переход к следующему вопросу тест-плана осуществляется по нажатию на кнопку «Продолжить». Переход к предыдущему вопросу тест-плана — по нажатию на кнопку «Назад». Если в процессе выполнения тест-плана вы закрыли программу, то при следующем запуске программы работа с тест-планом возобновится с последнего открытого вопроса.
После того как пройдены все вопросы тест-плана можно отправить отчёт по нажатию на кнопку «Отправить отчёт о тестировании». После отправки отчёта можно или пройти ещё один тест-план по нажатию на кнопку «Пройти ещё один тест-план» или выйти из программы по нажатию на кнопку «Выйти».
Разработчики Мандрива/Роса запрашивают следующий приоритетный список оборудования, необходимого для отладки системы на этапе релиз-кандидата:
Все ноутбуки на серии Nvidia Optimus, поддерживающие как программное так и аппаратное переключение видео
Любые новые ноутбуки с технологией AMD Avivo
Ноутбуки (нетбуки) с видеокартой Intel GMA500
Макбуки
Нетбуки с нестандартной конфигурацией
Видео-карты RADEON серий: r800, r700, r600, r520; NVidya: 200-500 серия, старые начиная с 3 поколения и заканчивая 8( geforce 3/4 + 6***/7***/8***) + мобильные аналоги указанных
Видео карты с выводом видео и звука по HDMI
Видеоадаптеры SIS
Многомониторные конфигурации
Массовый сегмент неплохих звуковых карт (начиная от класса Creative)
Новые чипсеты: x58, p55, p67, am3+, в том числе с поддержкой UEFI bios
Системники работающие в конфигурации multiseat
"Экзотические" процессоры вроде Via C2000 и чипсеты для них
Материнские платы с контроллерами CD/DVD - JMicron
Максимально широкий спектр оборудования где жесткие диски SATA подключены через AHCI
SSD диски + хитрые рейдовые массивы ( 1+0, 6 )
Как можно больше внешних wifi донглов и внутренних карт
3G - модемы от Билайна, Мегафона и МТС - особенно ZTE
Модемы от Йоты
Модемы от SkyLink
Любые мобильные телефоны
Фотоаппараты не определяющиеся как флешки (как правило их определяет какой-либо софт работающий с GPHOTO2)
Любые принтеры - особенно Win-принтеры.
Интерактивные доски
Web-камеры Logitech (особенно в связке со Skype)
Любые Bluetooth устройства, особенно мышки и клавиатуры.
Тестирование Роса/Мандрива включает следующие тест-планы:
1) План-протокол, заполняемый на Импрувере после сбора результатов тестов по подготовке носителей, установке и загрузке, а также работе с виртуальными машинами.
2) Тест-план для LIVE-DVD – выполняется из режима LIVE-DVD (на нетбуках LIVE-USB)
3) Основной тест-план – выполняется на установленной на жёсткий диск системе
4) Тест-план для основных модулей настройки системы - выполняется как на установленной системе, так и из LIVE-режима.
Для заполнения отчёта по проведённым тестам по подготовке носителей, установке и загрузке, а также работе с виртуальными машинами ниже приводится полный перечень вопросов соответствующего плана-протокола:
Загрузочный DVD-диск успешно записан утилитой Windows (указать какой)
Загрузочный DVD-диск успешно записан Growisofs и прочих LINUX утилит (указать)
Загрузочный DVD-диск успешно записан утилитой dd, команда вида: dd if=image.iso of=/dev/sd…
При загрузке c полученного DVD-диска в live режиме корректно проходят все этапы 1-го старта. (В случае ошибки приложить полный текст ошибки, возникающей при проблеме с загрузкой.)
При загрузке в режиме LIVE пользователем live логинится автоматом
При загрузке в режиме LIVE отсутствуют лишние запросы данных (перечислить какие запрашиваются)
На каждом этапе загрузки присутствует splash screen выраженного цвета. В случае отсутствия или сомнений в качестве, приложить к отчету скриншот.
В качестве grub/syslinux splash, plymouth splash, ksplash используются фирменные темы дистрибутива.
Корректно отрабатывается алгоритм "Завершить сеанс"
Корректно отрабатывается алгоритм "Заблокировать"
Корректно отрабатывается алгоритм "Переключить пользователя"
Корректно отрабатывается алгоритм "Ждущий режим"
Корректно отрабатывается алгоритм "Перезагрузить": После рестарта системы не должно быть изменений на пользовательском ПК (обратите внимание на загрузочную запись жёсткого диска и настройки системного времени)
Корректно отрабатывается алгоритм "Выключить": После рестарта системы не должно быть изменений на жёстком диске ПК (обратите внимание на загрузочную запись жёсткого диска и настройки системного времени)
От имени root ввести в консоли команду rpm -qa |grep livecd. Пакет присутствует? (Скопировать вывод в примечание)
Записать загрузочный образ на флэш-носитель командой вида livecd-iso-to-disk /path/image.iso /dev/sd… Результатом должен быть флеш носитель с 2 папками DATA и SYSTEM, с него должна успешно стартовать система.
При загрузке c полученного USB-диска в live режиме корректно прходят все этапы 1-го старта. (В случае ошибки приложить полный текст ошибки, возникающей при проблеме с загрузкой.)
При загрузке c полученного USB-диска в live режиме Пользователем live логинится автоматом
Присутствуют ли лишние запросы данных при загрузке? (Перечислить, какие запрашиваются.)
На каждом этапе загрузки присутствует splash screen выраженного цвета. В случае отсутствия или сомнений в качестве, приложить скриншот.
После загрузки c полученного флэш-диска в live режиме можно сохранять файлы в корне системы и в других папках. (указать ограничения)
Попытаться вносить пользовательские изменения в систему: изменить виджеты, удалить rpm-пакет (удалять надо корректно, например, пакет kde-l10n-en_GB или любой другой с опцией --nodeps. В примечании указать, что именно сделано и предоставить вывод rpm -qa |grep... )
Перезагрузить: После рестарта системы сделанные изменения должны воспроизводиться. (В случае несохранения изменений приложить подробный отчет, как проводилась проверка и вывод команды cat /etc/sysconfig/draklive-install)
Выключить: После рестарта системы сделанные изменения должны воспроизводиться. (В случае несохранения изменений приложить подробный отчет, как проводилась проверка и вывод команды cat /etc/sysconfig/draklive-install)
Из изменённого дистрибутива на флэш-носителе из ЛАЙВ-режима выполнить установку системы на жёсткий диск (в консоли draklive-install и далее все этапы) и убедиться, что изменения сохраняются и функционируют в установленной системе, предоставить вывод rpm -qa |grep… и/или скриншоты.
Выполнить установку системы с DVD-диска в режиме Install System. В случае проблем с установкой, загрузиться в режиме live и запустить инсталлятор из консоли с помощью команды draklive-install-lock-storage и после появления ошибки приложить вывод консоли к отчету.
Графическая тема draklive-install соответствует марке дистрибутива
В процессе установке отсутствуют проблемы (“зависания”) при определении оборудования и видеорежимов (даже в случае неподдерживаемого видеоадаптера)
Сеть при её физической доступности поднимается автоматически и запускается автоматическое обновление пакетов.
На каждом шаге корректно выполняются все действия предлагаемые в форме шага (весь представленный функционал работает). Отработайте все предлагаемые мастером установки опции выбора, пропуская/выбирая различные опциональные пункты, например удаление ненужных пакетов. Подробно опишите проблемы при их наличии.
После установки имеется возможность загрузить другую ОС ранее установленную на компьютере (укажите какую).
Выполнить установку системы с USB-диска в режиме Install System. В случае проблем с установкой, загрузиться в режиме live и запустить инсталлятор из консоли с помощью команды draklive-install-lock-storage и после появления ошибки приложить вывод в консоли.
Графическая тема draklive-install соответствует марке дистрибутива
В процессе установке отсутствуют проблемы (“зависания”) при определении оборудования и видеорежимов (даже в случае неподдерживаемого видеоадаптера)
Сеть при её физической доступности поднимается автоматически и запускается автоматическое обновление пакетов.
На каждом шаге корректно выполняются все действия предлагаемые в форме шага (весь представленный функционал работает). Отработайте все предлагаемые мастером установки опции выбора, пропуская/выбирая различные опциональные пункты, например удаление ненужных пакетов.Подробно опишите проблемы при их наличии.
После установки имеется возможность загрузить другую ОС ранее установленную на компьютере (укажите какую).
Выбрать хостовую платформу и установить бесплатные версии виртуальных машин VMPlayer http://downloads.vmware.com/d/info/desktop_downloads/vmware_player/3_0 и Oracle VirtualBox http://www.virtualbox.org/wiki/Downloads В комментарии укажите выбранную платформу.
Провести тестирование установки, настройки сети и простых операций на установленной системе на Oracle VirtualBox. Определить минимальную и стабильную конфигурации виртуального процессора/памяти/диска. Запротоколировать все тесты скриншотами (настройки вирт. Машины, операции на системе) приложить подробный комментарий и архив файлов.
Провести тестирование установки, настройки сети и простых операций на установленной системе на VMPlayer. Определить минимальную и стабильную конфигурации виртуального процессора/памяти/диска. Запротоколировать все тесты скриншотами (настройки вирт. Машины, операции на системе) приложить подробный комментарий и архив файлов.
На установленной в VMPlayer системе выполнить установку VMTools. Для запуска установщика использовать команду perl ./vmware-install.pl Приложить архив скриношотов.
В основном тест-плане для установленной системы также имеет место ряд вопросов, связанных с загрузкой системы, которые требуют сбора результатов тестов заранее (до запуска клиентского пакета Импрувера). Для удобства заполнения отчёта ниже приводится полный перечень вопросов данного тест-плана:
В процессе загрузки системы в безопасном режиме отсутствуют ошибки. В случае ошибки приложите полный текст ошибки, возникающей при проблеме с загрузкой, а так же лог dmesg, messages.
В процессе загрузки системы в обычном режиме отсутствуют ошибки. В случае ошибки приложите полный текст ошибки, возникающей при проблеме с загрузкой, а так же лог dmesg, messages.
На каждом этапе загрузки присутствует splash screen выраженного цвета. В качестве grub/syslinux splash, plymouth splash, ksplash используются темы, соответствующие марке дистрибутива. (В случае сомнений приложите скриншоты.)
При загрузке отсеките тему плимут (нажмите ESC), и когда пойдут строчки начинающиеся с fglrx и nvidia убедитесь, что дальше присутствует текст "already installed".
Оцените субъективно скорость загрузки системы (быстро/медленно) и по возможности укажите сколько времени требуется для загрузки
При первом старте есть возможность создать пользователя и зайти им
При логине пользователем отсутствуют ошибки и графические дефекты интерфейса
Сеть поднимается автоматически при загрузке при её физической доступности. Если не поднимается или ей невозможно управлять, приложите вывод ifconfig.
Определено и корректно настроено поддерживаемое оборудование, в том числе периферийное и стандартные USB-устройства. (Привести список протестированных устройств и приложить протокол сбоев при их наличии.)
На рабочем столе выравнивание значков по правому верхнему краю. Тип рабочего стола: просмотр папки. Размер иконок на рабочем столе 64x64 и подписи не должны обрезаться.
При загрузке системы в нижней части апплета появляется апплет панель задач (панель запуска)
Все предустановленные виджеты на панели задач функционируют штатно (функционал и настройки) и не имеют визуально фиксируемых дефектов
В левой части панели задач имеется и запускается апплет меню запуска
Все приложения, представленные в меню запуска, имеют индивидуальные иконки, функционируют без сообщений об ошибках и иных нештатных последствий. Все приложения открываются, готовы к работе, выполняют операции их основного функционала и закрываются.
Протестировать редактор меню запуска (открывается в контекстном меню при щелчке правой кнопкой мыши по меню запуска). Добавить/удалить команды. Тест пройден?
Включенная по умолчанию графическая тема elementary, отрисовка окон — dekorator. Все открывающиеся окна, снабжённые функциями сворачивания, распахивания и закрытия (в правом верхнем углу окна) корректно отрабатывают эти функции.
Открытым окнам приложений соответствуют их свёрнутые эквиваленты на панели задач. Щелчок правой кнопкой мыши по окну на панели активирует основное окно, а щелчок левой кнопкой открывает контекстное меню, в котором корректно отрабатываются все пункты (тестировать их функционал).
В правом верхнем углу окна приложения имеется значок приложения, щелчок по которому левой кнопкой мыши приводит к открытию такого же контекстного меню в котором корректно отрабатываются все пункты (тестировать их функционал).
Раскладка клавиатуры переключается нажатием заданной комбинации клавиш
Корректно функционируют все элементы контекстного меню при щелчке правой кнопкой мыши по рабочему столу и по элементам на нем (тестировать функционал пунктов меню).
Интернет-Броузер FireFox корректно запускается щелчком по значку на панели задач. При старте браузера отображается стартовая страничка, соответствующая марке дистрибутива.
Броузер проходит тест на основной функционал и устойчивость работы (устанавливаются плагины, устойчиво воспроизводится потоковое аудио-видео).
Протестировать почтовый клиент Tunderbird (создать ящики POP и IMAP, поддержка общего функционала). Запротоколировать и приложить скриншоты.
Системная переменная PATH сконфигурирована корректно. Представить вывод команды env |grep PATH=
Провести тест инструментов Plasma (кроме добавления виджетов). Тест полностью пройден?
"Протестировать добавление всех доступных виджетов на рабочий стол (не должно быть наездов текста на значки, значков на текст и значков на значки, проверить функционал и настройки виджетов) - тест полностью пройден?"
"Протестировать добавление всех доступных виджетов на панель (не должно быть наездов текста на значки, значков на текст и значков на значки, проверить функционал и настройки виджетов) - тест полностью пройден?"
Используя Dolphin и MC, протестируйте операции копирования и перемещения папок, содержащих множество элементов в том числе элементы большого размера (более гигабайта), а также при наличии в целевой папке папки с названием, идентичным копируемой папке, и содержащей множественные элементы в т.ч. идентичные элементам, имеющим место в копируемой папке. Протестируйте копирование с диска на внешние носители и наоборот. Проверьте автоматизм выполнения, какие сообщения выдаются. Проверьте, присутствует ли разница в скорости копирования больших файлов на Dolphin и MC. Приложите протокол тестов.
При помощи системного монитора зафиксируйте и приведите в примечании данные об используемой системой памяти - непосредственно после загрузки, а затем через час-два после загрузки без выхода из системы.
В системе отсутствуют дефекты интерфейса, поддержки оборудования и/или иные скрытые, не упомянутые ранее в тестовых вопросах. Также по желанию приложите сюда любые комментарии по работе системы и/или заархивированные данные.
