Проблема в том, что нет возможности добавить слушателя в JUnit с помощью Gradle. Доступно несколько обходных путей. Первый - использовать настраиваемый Runner, который добавляет слушателя, второй - использовать магию AspectJ для этого. Для получения дополнительной информации вы можете увидеть следующую проблему Gradle https://github.com/gradle/gradle/issues/1330
На данный момент существует плагин Gradle https://github.com/d10xa/gradle-allure-plugin, который может добавлять слушателя в JUnit с помощью AspectJ. Так что просто удалите AllureTestRunner и используйте вместо него плагин.