Вот что было предложено:

Шаги: 

1. 1. Зайти на сайт https://translate.go…e&sl=auto&tl=en
   2. Нажать на кнопку в левой стороне «АНГЛИЙСКИЙ»
   3. Нажать на кнопку в правой стороне «РУССКИЙ»
   4. Ввести слово на английском языке.

Ожидаемый результат

1. 1. Окно с допустимыми языками открывается при нажатии.
   2. Можно выбрать желаемый язык.
   3. Перевод выполняется автоматически при вводе слова.

Позитивные тест-кейсы

Условия: 

1) Все буквы в слове строчные.

2) Все буквы в слове заглавные.

3) Буквы в слове и строчные, и заглавные.

4) Слово содержит небуквенный знак.

5) Текст без пробелов.

Пример:

1) hello, hi, bye

2) QUEEN, KING, WE

3) ForeVeR

4) j`unior, impa%ct, cl-ass

5) hellohowareyou

Негативные тест-кейсы 

Условия:

1) Цифры и другие небуквенные знаки.

2) Многократное дублирование буквы в слове.

Пример: 

1) ###, 12, @

2) helllp

Приговор: предлагаемые тест-кейсы — имитация тестирования. Автор всего лишь словами перерассказал «слепому» о том, как он курсором по экрану тыкал.

Это, кагбэ, норм для начинающего, но и только. Плохо то, что для многих это остаётся нормой. Оставшимся немногим очевидно пахнет родной шинелью Гоголя, из которой вышла вся переводная литература о тестировании ПО…

Надо подумать…

Таки да, это надо обдумать.

И надо думать по-другому.

Про вопросы

Вот три вопроса, на которые тестировщику НАДО получить ответ ДО начала тыканья курсором по экрану:

1. Что это?
2. Зачем это нужно?
3. Как оно делает то, что нужно?

Как вы это сделаете — неважно.

Если не сделаете — не беда, будете плестись в хвосте постоянно удаляющегося поезда прогресса с высокими зарплатами.

Что это?

Никого рядом нет, кто мог бы за минуту объяснить, что это за шняга. Подразумевается, что я всё знаю или узнаю в процессе.

Ок, гуглопереводчик мне уже знаком, я знаю, что он помогает переводить

• слова,
• предложения,
• абзацы текста.

Среди них бывают отдельные слова и словосочетания (Break a leg — «Сломать ногу» — это идиома, которая иронично желает исполнителю «удачи». Доброжелатели обычно говорят «сломай ногу» актерам и музыкантам, прежде чем они выходят на сцену для выступления. Происхождение фразы остается неясным). Как гуглопереводчик переведёт эту идиому? «Сломать ногу». Аллё, так и должно быть?

Зачем это нужно?

Ну, английский можешь ты познать, но знать его всего не обязан. Хорошо, если робот тебе поможет. Гуглопереводчик = робот-переводчик. Нехай буде.

Как оно делает то, что нужно?

Нужна справка.

Я очень опытный гуглер, я юзал этот гуглопереводчик еще задолго до появления Google, но весь мой опыт — наживной.

Есть большая вероятность того, что я умею пользоваться гуглопереводчиком с искажениями. Вероятно также, что там есть какие-то штуки, о которых я просто не знаю. Тестировать только на основе личного опыта — невероятного масштаба тупость. Тестировать только на основе «щупаю то, что вижу» — тупость ещё большего масштаба, нежели предыдущая.

Поэтому мне нужна справка, чтобы ТОЧНО ЗНАТЬ, что там внутри и что оно ВООБЩЕ может делать.

Мне надо знать, а не догадываться.

Программистов рядом нет, но в левом верхнем углу страницы есть меню «гамбургер» > [О Переводчике Google]. Открылась англоязычная страница https://translate.google.com/intl/en/about/

Так и должно быть?

Я хочу переключить справку на русский язык. Как это сделать?

(через две минуты размышлений, пролистываний и тыканья курсором по странице) Да ёпвашугугломать, как переключить справку-то!? Что, так и должно быть?

Ок, я опытный, я могу изменить URL — https://translate.google.com/intl/ru/about/ А кнопками это можно сделать?

(через ещё несколько раз ёпвашугугломатерей) Ага, если прокрутить страницу полностью вниз, вижу выпадающее меню выбора языков. Ок, есть russky! Скроллим верх.

«Теперь Google Переводчик доступен в любом приложении». Какие приложения подразумеваются? В любом? В ЛЮБОМ? У меня на андроиде их не меншье 20. ТОЧНО В ЛЮБОМ? Так и должно быть?

Смотрим поясняющее видео. Там говорят, что иконка гуглопереводчика висит поверх всего, «Это функция «Быстрый перевод», она доступна в последней версии гуглопереводчика». А у меня какая версия? Как это узнать?

Там же показывают, что надо тыкнуть по сообщению, которое надо перевести, потом по иконке скопировать, и взлетит «Быстрый перевод». Ок, есть первый тест-кейс.

Скроллим справочную страницу дальше. «Общение без границ». Ыыы, это чем-то напоминает Шелдона Купера в китайском ресторане с требованием «Покажите мне ваши сопли!» Это просто рекламная пропаганда. Отложим.

Скроллим дальше. Раздел «Всегда под рукой» говорит о том, что гуглопереводчик есть:

1. в телефоне
2. офлайн
3. на компьютере

Ок, это три разных окружения и они тащут за собой множество тест-кейсов для проверки, соппсно, одного и того же набора функций. Есть смысл на этих окружениях сосредотачиваться? (есть, конечно, но это очевидно трудозатратно, поэтому надо согласовать эти усилия с начальством/заказчиком)

«Несколько способов ввода».

• говорить в микрофон
• запихнуть в программу фотографию с текстом
• нарисовать текст стилусом
• набирать текст

Ок, это четыре разных окружения и они тащут за собой множество тест-кейсов для проверки. Плюс будем комбинировать эти способы ввода с упомянутыми ранее разными окружениями. В телефоне четыре способов ввода, в режиме «офлайн» сколько их будет доступно? На компьютере рисовать… не помню такого, но можно подключить перьевой планшет. Сколько в итоге получается проверок? Есть смысл их всех учесть, записать, согласовать требуемые усилия с начальством/заказчиком? Конечно, есть!

Остановимся.

Сколько тестов можно сгенерировать, всего лишь изучая контекст и поверхностные справочные материалы, не касаясь интерфейса гуглопереводчика?

Кто во время обдумывания только обдумывал, а не записывал — тот дура(к).

Записывать надо, хоть вкратце, хоть на лбу тим-лида, но надо записывать всё то, о чём думаешь, иначе ваш паровоз аналитики будет вечно стоять на постаменте вашей никчемности в профессии.

Важно понимать, что гуглопереводчик — собака известная. Если бы мне предложили тестировать что-то неизвестное (расчёт тангенса и котангенса между Бетельгейзе и гейзером Строккур), то попытки под видом тест-кейсов описывать взаимодействие с приложением были бы, мягко говоря, центральным экспонатом музея беспомощности.

Наглядный пример: клавиатура моего программируемого калькулятора МК-61.

Красава ж ты моя!

Он, конечно же, может выполнить операцию 2+3, но на его клавиатуре НЕТ клавиши [=], поэтому привычные последовательные нажатия клавиш [2] [+] [3] [=] к нему неприменимы.Он делает это как-то иначе.

Можно ли самостоятельно догадаться о том, как он работает?

Нет.

Нужно посмотреть в справку.

Нужно спросить о том, как он работает.

Как вы это сделаете — неважно. Не беритесь за гуж, не спросивши.

Про позитивные/негативные тесты

А всем видно, что ВСЕ предложенные автором «негативные тест-кейсы» являются позитивными?

В основе тестирования находится сравнение ожидаемого результата с наблюдаемым.

Позитивные тест-кейсы всегда характеризуются тем, что у вас есть ожидаемый результат. Вы их выполняете, и вы наблюдаете ожидаемый результат.

Если наблюдаемый результат будет неожидаемым, то вы скажете, что нашли баг, хотя логично было бы сказать, что всё в порядке, просто вы выполнили негативный кейс и всё поломалось.

Ну, ввели мы в гуглопереводчик всяку шнягу по вашему предложению — 123!»№%*(). И что? Сайт рухнул? К вам прибежал админ гуглопереводчика и лично надавал по шее? Нет, всё в норме. Более того, у вас есть ожидаемый результат, следовательно, вы выполняете позитивные тест-кейсы. А называете их негативными.

Как настырный тестировщик вы придумаете/обнаружите сценарий, в ходе которого будет сделано НЕ ТО, что гуглопереводчик должен делать, или то, но НЕ ТАК, как это было предусмотрено.

Например, вставим в гуглопереводчик в режиме «Рус / Eng» транслитерированный текст:

Transliteratsiya shiroko ispolzuetsya vmesto kirillitsyi pri rabote na nerusifitsirovannyih sistemah dlya vvoda nazvaniy faylov, papok, a takzhe dlya perevoda nazvaniy ili imen iz odnogo yazyika na drugoy.

Что произойдёт? Это русский текст, или английский?

Вставим тот же текст, но переведем гуглопереводчик в режим «Eng / Рус». Что произойдёт?

Иногда вы будете знать точно, что должно происходить. Это тестирование.

Иногда вы будете знать точно только то, что НЕ ДОЛЖНО происходить. Это тоже тестирование.

Иногда не будете знать результат никак, никакой, даже приблизительно. Это уже не тестирование, это исследование.

Нет ожидаемого результата, мы узнаём его в ходе взаимодействия с приложением, мы учимся, мы исследуем, мы делаем выводы, мы решаем, каким должен быть ожидаемый результат (это надо спрашивать у живых людей, надеяться на подробность мануалов — глупо).

Поэтому не привязывайтесь к вводу «неправильных значений». Рассматривайте «позитив» и «негатив» в русле сценариев, которые должны выполняться. Все сценарии, в ходе которых мы проверяем, что гуглопереводчик делает именно то, что должен (то, что в его справке написано, а не то, что вы воображаете), можно назвать позитивными. Назовём их скопом happy path. Додумаетесь/обнаружите сценарий, который отклоняется от happy path — вот это и будут негативные тест-кейсы.

То, что тест-кейсы обслуживают сценарии — вы уже знаете.

Минута: 56:20

Есть ли в Google люди, которые проводят мануальное тестирование? То есть, сидят и «кликают»?

Да, есть тест-инженеры, очень многое автоматизируется, и даже у тех, кто делает мануальное тестирование, есть большое количество средств, разных инструментов, использование которых облегчает работу.

Но есть и определенное количество ручного труда, конечно.

Вот! А что мотивирует этих людей? Работа зачастую монотонная, такая однородная, и часто — не очень интеллектуальная…

Ну, я работал с одним из таких тестировщиков, который делал мануальную работу. И знаешь, у меня было ощущением, что я работаю с таким же инженером, как я. Да, она делала большое количество мануальной работы, но ей был интересен продукт. Реально интересен! И ей было интересно, чтобы продукт был хорошим.

Может быть, им интересней, чем в других компаниях потому, что мы выпускаем интересные вещи. То есть, вполне возможно, что если тебе дать потестировать что-нибудь из того, что Google выпустит через три месяца, ты тоже будешь очень excited, потому что это может быть что-то ТАКОЕ, и никто об этом еще не знает…

А может быть, здесь играет свою роль просто фактор рабочей культуры в США — она очень сильно отличается от России. Она какая-то… По российским представлениям она может казаться детской, тупоголовой и дебильной. Но по местным представлениям — здесь ценятся такие вещи как «Я люблю свою работу».

У нас, за редкими исключениями, если ты говоришь «Я очень люблю свою работу и у меня замечательный начальник», на тебя будут смотреть как на идиота. Человек, который любит свою работу, воспринимается как какой-то слабак. Круто — это говорить, что «Ладно, пока работаю на дядю, а потом буду на себя…», или просто быть недовольным своей работой и начальником.

Конечно, в IT-индустрии этого меньше, но в целом у нас гораздо больше цинизма и эгоизма. Человек, который искренне работает на коллектив… Может быть, у нас аллергия к этому выработалась с советским времен, когда все говорили, что коллектив это все, а ты — ничто.

Поэтому все живут так, как будто они — коллектив, и человек, который искренне работает на коллектив, искренне ассоциирует себя с коллективом, рассматривается как дурачок, слабак, сопляк, которого можно как-то использовать…

В основном же люди думают все время о себе и делают только то, что от них просят.

Действительно… Я никогда не задумывался об этом, наверное, это resistance советскому прошлому, ведь действительно, культура командной работы редко встречается…

Может быть. Этой искренней ассоциации с коллективом у нас, в IT-индустрии, больше, ведь чем более интеллектуальная индустрия, тем этого больше… но в целом….

А здесь такие качества реально уважаются. Если человек любит свою работу — его уважают. Если ему очень нравится продукт, над которым он работает — он пользуется уважением.

Если человек действительно очень переживает за качество своей работы, ему хочется сделать лучшую работу, то его за просто уважают, и он сам от этого начинает себя хорошо чувствовать, а не задает вопрос «А что мне за это будет?»

Поэтому, даже когда я работал с тестировщиком, у меня было такое ощущение, что ей нравится то, что она делает, она хочет сделать самую лучшую работу на свете. Что она хочет все найти, она хочет быть уверенной, это ее ответственность, это ее продукт, в том числе. И может быть, Google нанимает в основном именно таких людей. Но и часть американской культуры в этом тоже есть, безусловно.

Между кстати

Для полноты картины предлагается все-таки скачать и послушать первоисточник. У меня есть опасение, что будучи в отрыве от контекста, эта часть текста может кого-то убедить в том, что проблему скуки мануального тестирования достаточно просто решить — надо, чтобы тестировщику было интересно то, чем он занимается. Гы-гы 🙂

В действительности, процитированный отрывок интервью раскрывает только часть темы. Положение тамошних дел — следствие корпоративной культуры работы в командах Гугла. Например, менеджер продукта не может что-либо накомандовать программистам, которые работают над подчиненным ему продуктом. А в культуре стран СНГ начальник — везде и всегда начальник, как в армии… Если, мол, организуемся в команду, то давайте уточним, кто у нас будет дедом, а кто — шнырём.

В странах СНГ у начальников есть уверенность в том, что «если не пнешь — не полетит». С таким подходом в Google сложно жить, ибо там РАБОТАЕТ понятие «самоорганизующиеся команды инженеров».

Но подход «Всех вас надо пинать» имеет серьезные истоки, поэтому нельзя вообще его игнорировать или объявлять преступным 🙁

Для ценителей англиканскаго языка сцылка про подробности корпоративной культуры в Google. Вкратце: очень открытая система «внутри», но очень замкнутая «внаружу».