Я весьма нервно отношусь к тест-трекерам по достаточно внятным причинам, которые могу излагать отдельными письменами. К баг-трекерам отношусь спокойно. А к тест-трекерам – нет.
Дали нам пощупать Zephyr – The World’s Most Flexible Test Management System.
Система очень платная (по типу ежемесячного абонемента на определенное количество аккаунтов), но, как бы, очень интегрируется с Jira, а ведь Jira – это наше всё…
Ожидания
Что Test Director и иже с ним и уйдут в небытие по причине неповоротливости, и что пришла новая эра тест-трекеров…
Ведь вон как шикарно выглядит страница логирования в Zephyr:
Загрузка портала богов, ей-богу...
В целом Zephyr – работает. Но местами он очень и очень недоделан…
Невозможно отсортировать кейсы в тест-сьюте по-порядку
Каждому кейсу система автоматически присваивает уникальнейший ID. По разными причинам, порядок присваивания не равен порядку создания кейсов. Особенно, если над созданием работают одновременно больше, чем один человек. В итоге – разнобой.
На экране создания тест-кейсов есть поле Alt.ID, в котором можно указывать явный цифровой порядок тест-кейсов в тест-комплекте.
А на экране выполнения тест-кейсов этого поля нет, и кейсы сортируются не по-порядку, а по уникальному ID. Или по заголовку кейсов. Или по статусу кейса. Но не по-порядку.
Найденное решение: в названии кейса указывать какой-то цифровой порядковый номер.
Но в дальновидности это решение – big sux, ведь если придется поменять какие-то шаги местами, то у нас – большая проблема…
И если шагов больше, чем десять, то система сортирует их по-дурацки:
- 1)
- 10)
- 11)
- 12)
- 13) и так далее. Неимоверно правильно и удобно…
Test execution можно произносить по-русски как “экзекуция тестов”.
Невозможно масштабировать шрифт
Ооооченьь большой мазафак – невозможно ни клавиатурой, ни мышкой быстро (и даже – вообще) увеличить размер шрифта на экране.
Божежмой, одно из самых страшных ограничений…
Грёбанные ограничения Flash!
Комментарии к кейсам может видеть только сам комментатор
Странность в показе комментариев, которые тестировщик делает к кейсам по ходу тестирования: комментарии доступны только тому, кто их заносил, а не еще и тест-менеджеру или тест-лиду.
Нигде больше эти мазафаки не показываются 
Невозможно быстро отредактировать кейс
Редактировать тест-кейсы можно только на отдельном экране (айне кляйне факен щит!!!), куда надо отдельно переходить.
Например, читая комментарии, надо перейти через те же пять кликов туда-сюда, найти тест-комплект, найти в нем нужный кейс, нужный шаг…
Затем надо вернуться на предыдущий экран и продолжить просмотр комментариев.
Невозможно посмотреть содержимое поля в Expected result, если там больше 500 символов
Сабж
Как ни тужись, если в таком поле перечисляется содержимое всех дроп-даун списков, которые есть на странице, то фиг прочитаешь это самое содержимое.
Ухищрялся по-всякому: и масимизировал доступное для просмотра поле, и растягивал, и даже тщился прочитать его в режиме “редактирования” (для этого надо сделать много разных кликов…) – только там и возможно, да…
Вердикт
Test Director и иже с ним еще долго не уйдут в небытие, ведь если Zephyr разовьется, то он станет таким же, как все они – большим, грузным, стрёмным…
Что в итоге?
Спокойно продолжаем работать с Zephyr.
Почему бы и нет, ведь он типа, интегрируется с Jira, а ведь Jira – это наше всё…
Интеграция, которую я вижу, очень простая: можно из тест-кейса запулить в Jira баг. Вот и всё.
Ничего мне не мешает иметь Jira в отдельной вкладке браузера, и контролировать все поля дефект-рапорта…
Возможно, под новый и небольшой проект это еще как-то прикручивается, но под старый и большой – абсолютно не подходит.
За все время работы, я убедился, что лучшая система менеджмента тесткейсов – это Excel, ил что-то на него похожее. Потому что очень просто и в крайнем случае пропарсить можно очень легко для создания отчетов.
Такие штуки используют в начале больших проектов, и на их протяжении, а не в середине.
О да как меня индус из их саппорта достал,он звонил по моему раза 3 за выходные, особенно убивала разница тайм зон- как раз часов 11 и звонки на ночь с предолжением “а давайте сейчас устроим вебинар” это было вообще что то, потом проблемы с расписанием вебинара, то у нас ISP глючил, то они “забывали” что вебинар сегодня. В общем посчупать так и не дали, но думаю все к лучшему, обзора мне пока достаточно
Мне тоже больше нравится Excel …
А ещё я заметил, что все биг-боссы всё равно копи-пастят нужный контент из “супер-пупер системы” в электронную таблицу с полнотекстовым поиском, раскрасками, фильтрами и агрегирующими функциями.
Главная функция любой системы – “Экспорт в Excel”
В Jira я эту функцию использую чаще, чем мог бы предположить.
Узнал кое-чего о том, как эту систему тестируют.
Проводят:
- test cases,
- test plans,
- sanity check
- functional testing.
- Build Verification Tests (BVT)
- Regression tests
Tested the Zephyr application with its integration with 3rd party software like ZBot.
Working on implementing the automation of testing process using Selenium IDE & PERL Scripting.
А вот это интересно: Logged bugs and defects in Bugzilla along with the internal defect tracking system for Zephyr.
Значит, систему они поставляют с интеграцией с Jira, а сами как баг-трекинг юзают Багзиллу…