Я весьма нервно отношусь к тест-трекерам по достаточно внятным причинам, которые могу излагать отдельными письменами. К баг-трекерам отношусь спокойно. А к тест-трекерам — нет.
Дали нам пощупать Zephyr — The World’s Most Flexible Test Management System.
Вкратце про итоговое к ней отношение:
Bloody blast, this is up my arse!
Подробности есть.
Система очень платная (по типу ежемесячного абонемента на определенное количество аккаунтов), но, как бы, очень интегрируется с Jira, а ведь Jira — это наше всё…
Ожидания
Что Test Director и иже с ним и уйдут в небытие по причине неповоротливости, и что пришла новая эра тест-трекеров…
Ведь вон как шикарно выглядит страница логирования в Zephyr:
Загрузка портала богов, ей-богу...
В целом Zephyr — работает. Но местами он очень и очень недоделан…
Невозможно отсортировать кейсы в тест-сьюте по-порядку
Каждому кейсу система автоматически присваивает уникальнейший ID. По разными причинам, порядок присваивания не равен порядку создания кейсов. Особенно, если над созданием работают одновременно больше, чем один человек. В итоге — разнобой.
На экране создания тест-кейсов есть поле Alt.ID, в котором можно указывать явный цифровой порядок тест-кейсов в тест-комплекте.
А на экране выполнения тест-кейсов этого поля нет, и кейсы сортируются не по-порядку, а по уникальному ID. Или по заголовку кейсов. Или по статусу кейса. Но не по-порядку.
Найденное решение: в названии кейса указывать какой-то цифровой порядковый номер.
Но в дальновидности это решение — big sux, ведь если придется поменять какие-то шаги местами, то у нас — большая проблема…
И если шагов больше, чем десять, то система сортирует их по-дурацки:
- 1)
- 10)
- 11)
- 12)
- 13) и так далее. Неимоверно правильно и удобно…
Test execution можно произносить по-русски как «экзекуция тестов».
Невозможно масштабировать шрифт
Ооооченьь большой мазафак — невозможно ни клавиатурой, ни мышкой быстро (и даже — вообще) увеличить размер шрифта на экране.
Божежмой, одно из самых страшных ограничений…
Грёбанные ограничения Flash!
Комментарии к кейсам может видеть только сам комментатор
Странность в показе комментариев, которые тестировщик делает к кейсам по ходу тестирования: комментарии доступны только тому, кто их заносил, а не еще и тест-менеджеру или тест-лиду.
Нигде больше эти мазафаки не показываются 😦
Невозможно быстро отредактировать кейс
Редактировать тест-кейсы можно только на отдельном экране (айне кляйне факен щит!!!), куда надо отдельно переходить.
Например, читая комментарии, надо перейти через те же пять кликов туда-сюда, найти тест-комплект, найти в нем нужный кейс, нужный шаг…
Затем надо вернуться на предыдущий экран и продолжить просмотр комментариев.
Невозможно посмотреть содержимое поля в Expected result, если там больше 500 символов
Сабж 😦
Как ни тужись, если в таком поле перечисляется содержимое всех дроп-даун списков, которые есть на странице, то фиг прочитаешь это самое содержимое.
Ухищрялся по-всякому: и масимизировал доступное для просмотра поле, и растягивал, и даже тщился прочитать его в режиме «редактирования» (для этого надо сделать много разных кликов…) — только там и возможно, да…
Вердикт
Test Director и иже с ним еще долго не уйдут в небытие, ведь если Zephyr разовьется, то он станет таким же, как все они — большим, грузным, стрёмным…
Что в итоге?
Спокойно продолжаем работать с Zephyr.
Почему бы и нет, ведь он типа, интегрируется с Jira, а ведь Jira — это наше всё…
Интеграция, которую я вижу, очень простая: можно из тест-кейса запулить в Jira баг. Вот и всё.
Ничего мне не мешает иметь Jira в отдельной вкладке браузера, и контролировать все поля дефект-рапорта…
С момента написания статьи прошло довольно много времени.
Как раз выбираем «простую систему управления тестами с возможностью интеграции с JIRA» =)
Zephyr — один из рассматриваемых вариантов.
Скажите, пожалуйста, этот продукт не изменился к лучшему ?
НравитсяНравится
Принципиально нет.
Мы теперь используем https://marketplace.atlassian.com/plugins/com.thed.zephyr.je как некий аддон к Jira. Действительно удобно — все кнопки и поля — от Jira, воркфлоу — от Jira, это действительно аддон, интегрированный как должно.
Минусы ожидаемые от всех подобных систем — пропсихуешься вусмерть, пока все поля заполнишь при заведении нового тест-кейса. И «быстрый смоук-тестинг» не получится, для этого даже удобнее гуглодоки использовать, меньше кликов. А в зефире — открой все по-отдельности, галочку поставь, закрой, открой следующий, да ёпта…
Громадный «+» в обустройстве регрессионного тестирования. Вот уж тут действительно удобно и собирать сьюты, и назначать на прогон в разных релизах, и статистику собирать, и всё такое прочее.
В некоторых проектах пришли к тому, что используем только идеи, сформулированные и записанные в полях «Заголовок». В теле тест-кейса ничего не написано, бо и не требуется. Это помогло немного ускориться.
НравитсяНравится
Привет всем, хотел спросить вашего мнения, чего всем этим тест-трекинговым системам реально не хватает?
НравитсяНравится
Простоты 🙂
НравитсяНравится
А кто-нибудь пробовал QAComplete http://smartbear.com/products/qa-tools/test-management
Мне кажется, что довольно удобная тула
НравитсяНравится
Может быть, вы и попробуете?
НравитсяНравится
[…] И при этом окружать профессионала будут очень приятные и адекватные люди (медленно сжимая кольцо), с которыми он будет говорить на одном языке – на языке жестов и междометий в адрес проклятых создателей гребанного Zephyr… […]
НравитсяНравится
Узнал кое-чего о том, как эту систему тестируют.
Проводят:
— test cases,
— test plans,
— sanity check
— functional testing.
— Build Verification Tests (BVT)
— Regression tests
Tested the Zephyr application with its integration with 3rd party software like ZBot.
Working on implementing the automation of testing process using Selenium IDE & PERL Scripting.
А вот это интересно: Logged bugs and defects in Bugzilla along with the internal defect tracking system for Zephyr.
Значит, систему они поставляют с интеграцией с Jira, а сами как баг-трекинг юзают Багзиллу…
НравитсяНравится
Главная функция любой системы — «Экспорт в Excel» 🙂
В Jira я эту функцию использую чаще, чем мог бы предположить.
НравитсяНравится
Мне тоже больше нравится Excel …
А ещё я заметил, что все биг-боссы всё равно копи-пастят нужный контент из «супер-пупер системы» в электронную таблицу с полнотекстовым поиском, раскрасками, фильтрами и агрегирующими функциями.
НравитсяНравится
О да как меня индус из их саппорта достал,он звонил по моему раза 3 за выходные, особенно убивала разница тайм зон- как раз часов 11 и звонки на ночь с предолжением «а давайте сейчас устроим вебинар» это было вообще что то, потом проблемы с расписанием вебинара, то у нас ISP глючил, то они «забывали» что вебинар сегодня. В общем посчупать так и не дали, но думаю все к лучшему, обзора мне пока достаточно
НравитсяНравится
Такие штуки используют в начале больших проектов, и на их протяжении, а не в середине.
НравитсяНравится
Возможно, под новый и небольшой проект это еще как-то прикручивается, но под старый и большой – абсолютно не подходит.
За все время работы, я убедился, что лучшая система менеджмента тесткейсов – это Excel, ил что-то на него похожее. Потому что очень просто и в крайнем случае пропарсить можно очень легко для создания отчетов.
НравитсяНравится