• Главная
  • О сайте
  • Архив

Normal testing

From the programmer's worst friend

Feeds:
Записи
Комментарии
« Прогматичные праграммеры
О профессионализме в тестировании »

Zephyr — new Test Management System

11.02.2009 Автор: Алексей Лупан

Я весьма нервно отношусь к тест-трекерам по достаточно внятным причинам, которые могу излагать отдельными письменами. К баг-трекерам отношусь спокойно. А к тест-трекерам — нет.

Дали нам пощупать Zephyr — The World’s Most Flexible Test Management System.

Вкратце про итоговое к ней отношение:

Bloody blast, this is up my arse!

Подробности есть.

Система очень платная (по типу ежемесячного абонемента на определенное количество аккаунтов), но, как бы, очень интегрируется с Jira, а ведь Jira — это наше всё…

Ожидания

Что Test Director и иже с ним и уйдут в небытие по причине неповоротливости, и что пришла новая эра тест-трекеров…

Ведь вон как шикарно выглядит страница логирования в Zephyr:

Загрузка портала богов

Загрузка портала богов, ей-богу...

В целом Zephyr — работает. Но местами он очень и очень недоделан…

Невозможно отсортировать кейсы в тест-сьюте по-порядку

Каждому кейсу система автоматически присваивает уникальнейший ID. По разными причинам, порядок присваивания не равен порядку создания кейсов. Особенно, если над созданием работают одновременно больше, чем один человек. В итоге — разнобой.

На экране создания тест-кейсов есть поле Alt.ID, в котором можно указывать явный цифровой порядок тест-кейсов в тест-комплекте.

 

А на экране выполнения тест-кейсов этого поля нет, и кейсы сортируются не по-порядку, а по уникальному ID. Или по заголовку кейсов. Или по статусу кейса. Но не по-порядку.

zephyr-d0bcd0b5d181d182d0b0d0bcd0b8-d0bbd0b0d0b6d0b0d0b5d182-2

Найденное решение: в названии кейса указывать какой-то цифровой порядковый номер.

zephyr-d0bcd0b5d181d182d0b0d0bcd0b8-d0bbd0b0d0b6d0b0d0b5d182-1

Но в дальновидности это решение — big sux, ведь если придется поменять какие-то шаги местами, то у нас — большая проблема…

И если шагов больше, чем десять, то система сортирует их по-дурацки:

  1. 1)
  2. 10)
  3. 11)
  4. 12)
  5. 13) и так далее. Неимоверно правильно и удобно…

Test execution можно произносить по-русски как «экзекуция тестов».

Невозможно масштабировать шрифт

Ооооченьь большой мазафак — невозможно ни клавиатурой, ни мышкой быстро (и даже — вообще) увеличить размер шрифта на экране.

Божежмой, одно из самых страшных ограничений…

Грёбанные ограничения Flash!

Комментарии к кейсам может видеть только сам комментатор

Странность в показе комментариев, которые тестировщик делает к кейсам по ходу тестирования: комментарии доступны только тому, кто их заносил, а не еще и тест-менеджеру или тест-лиду.

Нигде больше эти мазафаки не показываются 😦

Невозможно быстро отредактировать кейс

Редактировать тест-кейсы можно только на отдельном экране (айне кляйне факен щит!!!), куда надо отдельно переходить.

Например, читая комментарии, надо перейти через те же пять кликов туда-сюда, найти тест-комплект, найти в нем нужный кейс, нужный шаг…

Затем надо вернуться на предыдущий экран и продолжить просмотр комментариев.

zephyr-d0bcd0b5d181d182d0b0d0bcd0b8-d0bbd0b0d0b6d0b0d0b5d182-3

Невозможно посмотреть содержимое поля в Expected result, если там больше 500 символов

Сабж 😦

Как ни тужись, если в таком поле перечисляется содержимое всех дроп-даун списков, которые есть на странице, то фиг прочитаешь это самое содержимое.

Ухищрялся по-всякому: и масимизировал доступное для просмотра поле, и растягивал, и даже тщился прочитать его в режиме «редактирования» (для этого надо сделать много разных кликов…) — только там и возможно, да…

Вердикт

Test Director и иже с ним еще долго не уйдут в небытие, ведь если Zephyr разовьется, то он станет таким же, как все они — большим, грузным, стрёмным…

Что в итоге?

Спокойно продолжаем работать с Zephyr.

Почему бы и нет, ведь он типа, интегрируется с Jira, а ведь Jira — это наше всё…

Интеграция, которую я вижу, очень простая: можно из тест-кейса запулить в Jira баг. Вот и всё.

Ничего мне не мешает иметь Jira в отдельной вкладке браузера, и контролировать все поля дефект-рапорта…

Ваша оценка:

Поделиться ссылкой:

  • Tweet
  • по электронной почте
  • Печать

Понравилось это:

Нравится Загрузка...

Похожее

Опубликовано в Инструменты, Презентации, Скриншоты, Тест-трекер, Трекеры | Отмечено Jira, Zephyr | 13 комментариев

комментариев 13

  1. на 27.01.2015 в 23:05 ilyagayze

    С момента написания статьи прошло довольно много времени.
    Как раз выбираем «простую систему управления тестами с возможностью интеграции с JIRA» =)
    Zephyr — один из рассматриваемых вариантов.
    Скажите, пожалуйста, этот продукт не изменился к лучшему ?

    НравитсяНравится


    • на 28.01.2015 в 12:21 Алексей Лупан

      Принципиально нет.

      Мы теперь используем https://marketplace.atlassian.com/plugins/com.thed.zephyr.je как некий аддон к Jira. Действительно удобно — все кнопки и поля — от Jira, воркфлоу — от Jira, это действительно аддон, интегрированный как должно.

      Минусы ожидаемые от всех подобных систем — пропсихуешься вусмерть, пока все поля заполнишь при заведении нового тест-кейса. И «быстрый смоук-тестинг» не получится, для этого даже удобнее гуглодоки использовать, меньше кликов. А в зефире — открой все по-отдельности, галочку поставь, закрой, открой следующий, да ёпта…

      Громадный «+» в обустройстве регрессионного тестирования. Вот уж тут действительно удобно и собирать сьюты, и назначать на прогон в разных релизах, и статистику собирать, и всё такое прочее.

      В некоторых проектах пришли к тому, что используем только идеи, сформулированные и записанные в полях «Заголовок». В теле тест-кейса ничего не написано, бо и не требуется. Это помогло немного ускориться.

      НравитсяНравится


  2. на 25.07.2014 в 11:00 Dzmitry Sukhau

    Привет всем, хотел спросить вашего мнения, чего всем этим тест-трекинговым системам реально не хватает?

    НравитсяНравится


    • на 25.07.2014 в 12:55 Алексей Лупан

      Простоты 🙂

      НравитсяНравится


  3. на 17.10.2012 в 13:12 Yuri Karpovich

    А кто-нибудь пробовал QAComplete http://smartbear.com/products/qa-tools/test-management

    Мне кажется, что довольно удобная тула

    НравитсяНравится


    • на 17.10.2012 в 16:31 Алексей Лупан

      Может быть, вы и попробуете?

      НравитсяНравится


  4. на 11.02.2011 в 12:21 Ламерство, вернись на минуту! « QA – грамотно

    […] И при этом окружать профессионала будут очень приятные и адекватные люди (медленно сжимая кольцо), с которыми он будет говорить на одном языке – на языке жестов и междометий в адрес проклятых создателей гребанного Zephyr… […]

    НравитсяНравится


  5. на 21.12.2009 в 18:36 Алексей Лупан

    Узнал кое-чего о том, как эту систему тестируют.

    Проводят:
    — test cases,
    — test plans,
    — sanity check
    — functional testing.
    — Build Verification Tests (BVT)
    — Regression tests

    Tested the Zephyr application with its integration with 3rd party software like ZBot.

    Working on implementing the automation of testing process using Selenium IDE & PERL Scripting.

    А вот это интересно: Logged bugs and defects in Bugzilla along with the internal defect tracking system for Zephyr.

    Значит, систему они поставляют с интеграцией с Jira, а сами как баг-трекинг юзают Багзиллу…

    НравитсяНравится


  6. на 23.03.2009 в 18:40 Алексей Лупан

    Главная функция любой системы — «Экспорт в Excel» 🙂

    В Jira я эту функцию использую чаще, чем мог бы предположить.

    НравитсяНравится


  7. на 23.03.2009 в 18:21 atriplex

    Мне тоже больше нравится Excel …
    А ещё я заметил, что все биг-боссы всё равно копи-пастят нужный контент из «супер-пупер системы» в электронную таблицу с полнотекстовым поиском, раскрасками, фильтрами и агрегирующими функциями.

    НравитсяНравится


  8. на 17.02.2009 в 08:38 rkononov

    О да как меня индус из их саппорта достал,он звонил по моему раза 3 за выходные, особенно убивала разница тайм зон- как раз часов 11 и звонки на ночь с предолжением «а давайте сейчас устроим вебинар» это было вообще что то, потом проблемы с расписанием вебинара, то у нас ISP глючил, то они «забывали» что вебинар сегодня. В общем посчупать так и не дали, но думаю все к лучшему, обзора мне пока достаточно

    НравитсяНравится


  9. на 12.02.2009 в 22:23 Алексей Лупан

    Такие штуки используют в начале больших проектов, и на их протяжении, а не в середине.

    НравитсяНравится


  10. на 12.02.2009 в 22:19 Devil

    Возможно, под новый и небольшой проект это еще как-то прикручивается, но под старый и большой – абсолютно не подходит.
    За все время работы, я убедился, что лучшая система менеджмента тесткейсов – это Excel, ил что-то на него похожее. Потому что очень просто и в крайнем случае пропарсить можно очень легко для создания отчетов.

    НравитсяНравится



Обсуждение закрыто.

  • Aut bene

    Спiвпрацювальник по підготувальні тестувальників.

    Автор [глоссария] терминологии тестирования (english).

    Неоднократный докладчик [SQA Days], [QA Fest] и других конференций по тестированию ПО.

    Неспешный езжун на «[Волга ГАЗ-21]» 1965 года выпуска.

    Игрун чего-то похожего на тяжелый блюз [на классической гитаре].

    И так [далее].

  • Присоединиться к ещё 1 368 подписчикам

  • Follow Normal testing on WordPress.com
  • Залежи

  • Темы

    • Без рубрики (6)
    • Документация (17)
      • Тест-план (2)
    • Изображения (138)
      • Видео (41)
      • Комиксы (19)
      • Скриншоты (44)
      • Фотографии (43)
    • Инструменты (67)
      • Debian (13)
      • Книги (17)
      • Макросы (1)
      • Трекеры (15)
        • Баг-трекер (8)
        • Тест-трекер (5)
      • LibreOffice (4)
    • Конференции (130)
      • Подкасты (8)
      • Презентации (50)
        • Слайдкасты (10)
      • Семинары (18)
    • Постановка мозгов (242)
      • Банальное (166)
        • Не смешно (47)
        • Неприятно (13)
        • Печали (15)
        • Радости (57)
        • Смешно (35)
      • В гостях у психиатра (43)
        • Поросенок v2.0 (3)
        • Странности (12)
        • Удивительные баги (17)
      • Level 80 (2)
    • Соображения (200)
      • Балабольник (9)
      • Гипотезы (11)
      • Озарения (53)
      • Откровения (88)
    • Статьи (22)
      • Интервью (5)
      • Опросы (1)
      • Переводы (11)
    • Управляторское (56)
      • Agile (13)
      • Программисты (23)
      • Рекрутинг (8)
    • Учеба в бою (77)
      • Тренировка (12)
      • Фишки (25)
      • Читерство (7)
    • Testing like… (76)
      • Acceptance testing (5)
      • Business Driven Testing (2)
      • Context-driven testing (2)
      • Defect-based Test Design Technique (1)
      • Автоматизация (36)
        • Performance Testing (5)
      • Рецессионное тестирование (1)
      • Юзероиммитатор (14)
      • Exploratory testing (9)
      • тест-дизайн (7)
      • State Transition testing (1)
      • Unit testing (1)
      • Usability testing (2)
    • To Do (10)
      • Анонсы (5)
  • Тэги

    Excel GlobalLogic James Bach Jira Mantis SQA Days SQA Days 7 SQA Days 8 SQA Days 10 Александр Александров Александр Орлов Алексей Баранцев Наталья Руколь Хватит тупить Юля Нечаева
  • Самое читаемое

    • Тестируем поля логин/пароль
    • Группирование данных в Excel
    • План тестирования должен быть внятным, четким, небольшим
    • Как в Excel отображать символ валюты перед цифрами
    • Priority & Severity на пальцах обезъянок
    • Ссылки в Confluence. Mazafaka
    • Запуск Allpairs
    • Что такое перформанс-тестирование
    • Clean out your closet
    • Разница между ошибкой (багом) и дефектом (тоже багом)
  • Комментарии

    • Regression is my profession! | Normal testing к записи Так вот что такое «Регрессионное Тестирование»!
    • Так вот что такое «Регрессионное Тестирование»! | Normal testing к записи Regression is my profession!
    • Алексей Лупан к записи Тест-кейсы для гуглопереводчика Google
    • Andrey Glazkov к записи Тест-кейсы для гуглопереводчика Google
    • akreminskiy к записи Тест-кейсы для гуглопереводчика Google
    • SALar к записи Тест-кейсы для гуглопереводчика Google
    • Алексей Лупан к записи Савин, Фолкнер и Нгуен…
  • Блоги о тестировании

    • 1) Блоги тестировщиков на software-testing.ru
    • Про тестинг
    • Selenium IDE — rulezzz!
  • Профессиональное

    • Удобный софт
    • Управление тестированием
    • IT Crowd wikiquotes
    • Testing History

Создайте бесплатный сайт или блог на WordPress.com.

WPThemes.


Отмена
loading Отмена
Сообщение не было отправлено — проверьте адреса электронной почты!
Проверка по электронной почте не удалась, попробуйте еще раз
К сожалению, ваш блог не может делиться ссылками на записи по электронной почте.
Политика конфиденциальности и использования файлов сookie: Этот сайт использует файлы cookie. Продолжая пользоваться сайтом, вы соглашаетесь с их использованием.
Дополнительную информацию, в том числе об управлении файлами cookie, можно найти здесь: Политика использования файлов cookie
%d такие блоггеры, как: