Укажите порядок, в котором выполняются закодированные тесты пользовательского интерфейса для агента тестирования TFS

Я пытаюсь настроить систему автоматического тестирования на основе TFS 2010 Lab Management, и у меня есть «Набор тестов» (созданный в TFS Test Manager) со следующими тестами: 1) Запуск и вход 2) Создать группу 3) Создать пользователя и добавить в группа

Их порядок указан правильно в Центре тестирования -> План -> (Набор тестов) -> Столбец Порядок.

Однако, когда они выполняются (в TFS Lab Management Build) агентом тестирования, они выходят из строя: 2-е, затем 1-е и затем 3-е.

Есть ли способ заставить тестовый агент запускать эти тесты по порядку?

Спасибо.


tfs automated-tests coded-ui-tests microsoft-test-manager
person Ivan Zivkovic    schedule 04.02.2011    source источник
comment
Следует отметить, что тесты, которые зависят от других тестов, считаются плохой практикой для тестирования. Вместо этого у вас должна быть фаза настройки для каждого теста, которая доводит код до точки, где вы можете выполнить фактический тест, а затем - после того, как вы выполнили шаг проверки - вы выполняете фазу очистки, чтобы вернуться в свое нормальное состояние. Я не могу описывать преимущества того, чтобы ваши тесты были независимыми друг от друга, в комментариях, но вы должны поискать дополнительную информацию по этому поводу.   -  person Ethel Evans    schedule 15.02.2011
comment
Для этих тестов вы должны вызвать метод запуска и входа в систему для одного теста при выполнении и выхода из системы при очистке; затем вызовите start и войдите в систему настройки и создайте группу в группе выполнения и удаления и выйдите из системы в очистке; затем запустите, войдите и создайте группу при запуске, создайте пользователя и добавьте в группу при выполнении, затем удалите группу и выйдите из системы для очистки в последнем тесте. Да, время выполнения больше, но экономия на ремонтопригодности того стоит.   -  person Ethel Evans    schedule 15.02.2011

Ответы (4)


arrow_upward
1
arrow_downward

Создайте упорядоченный тест - это простой список методов тестирования, которые должны выполняться и в каком порядке.

person Attila Szasz    schedule 04.02.2011
comment
Чтобы выполнить один автоматический тест в TFS, вам необходимо прикрепить один тест из Visual Studio. Это может быть упорядоченный тест, и лучше всего он может выполнить несколько других CodedUITests в контексте одного автоматизированного теста. Мне нужно заказать эти автоматические тесты, чтобы их можно было выполнять по порядку: вход в систему, создание группы, создание пользователя, назначение пользователя группе должны быть отдельными автоматическими тестами. - person Ivan Zivkovic; 06.02.2011

arrow_upward
1
arrow_downward

У меня тоже была такая же проблема. Я решил это, установив пакет обновления VS2010 и пакет обновления TFS 2010 как на машине с тестовым контроллером, так и на машинах с тестовым агентом. Для получения более подробной информации перейдите по следующей ссылке.

http://social.msdn.microsoft.com/Forums/en-US/vsmantest/thread/29ac3c7b-b0cd-40f3-9992-f5f3c2285331.

person Falcon Francis    schedule 01.02.2012

arrow_upward
1
arrow_downward

К сожалению, есть блог о заказе тестовых примеров, в котором говорится:

Обратите внимание, это относится только к ручным тестам, но не к автоматическим. Для автоматических тестов установленный здесь порядок не будет соблюдаться во время выполнения теста.

http://blogs.msdn.com/b/vstsqualitytools/archive/2009/11/21/run-your-tests-in-the-order-you-want.aspx

person Maziar Taheri    schedule 12.09.2015

arrow_upward
0
arrow_downward

Я не знаю, новая ли это функция, но вы можете создавать упорядоченные тесты. Просто щелкните свой проект правой кнопкой мыши в обозревателе решений и выберите «Добавить» -> «Упорядоченный тест». Выбирайте тесты по порядку.

В обозревателе тестов запустите заказанный тест.

Подробности по ссылке ниже, но все, что мне нужно было сделать, это то, что я сказал выше. Я использую VS 2015 Enterprise.

https://msdn.microsoft.com/en-us/library/ms182631.aspx

person Ewan    schedule 11.11.2016