Обработка ожидаемых изменений в регрессионных тестах

Я работаю над использованием непрерывного развертывания для моей службы, которая генерирует XML-файлы в качестве вывода. Для этого мы планируем добавить регрессионные тесты в наш процесс развертывания, где мы сравниваем файл XML, сгенерированный с этим изменением кода, с файлом без этого изменения кода.

Но поскольку некоторые изменения кода могут привести к различиям между выводами, что приведет к сбою теста.

Один из подходов может состоять в том, чтобы позволить тестам провалиться и создать отчет о различиях, который затем будет утвержден вручную.

Как обычно обрабатываются такие случаи при непрерывном развертывании?


person Avijeet Gupta    schedule 04.07.2019    source источник


Ответы (1)


Вы можете использовать что-то вроде этого инструмент xmldiff, который создает удобочитаемые различия между файлами XML. Если было внесено изменение кода, которое привело к сбою теста, отчет о различиях уже был создан для вас.

Я использовал аналогичные утилиты для сравнения скриншотов, и хотя они все еще требуют ручного просмотра в конце, когда есть неожиданные изменения, это немного ускоряет процесс.

person Lorn    schedule 15.07.2019