Не запускайте модульные тесты на устройстве или эмуляторе Arduino

Дело против микроконтроллеров Device / Emulator / Sim-based tests

О том, что означает unit test, идет много дискуссий, и я не пытаюсь здесь спорить об этом. Этот пост не советует вам избегать всех практических испытаний на вашем конечном целевом оборудовании. Я пытаюсь сделать акцент на оптимизации вашего цикла обратной связи при разработке, исключив ваше целевое оборудование из ваших самых рутинных и частых тестов. Предполагается, что тестируемые блоки намного меньше всего проекта.

Цель модульного тестирования - проверить качество вашего собственного кода. Модульные тесты, как правило, никогда не должны проверять функциональность факторов, находящихся вне вашего контроля.

Подумайте об этом так: даже если бы вам пришлось протестировать функциональность библиотеки Arduino, оборудования микроконтроллера или эмулятора, было бы абсолютно невозможно, чтобы такие результаты тестирования могли сказать вам что-либо о качестве вашего Наша работа. Следовательно, гораздо более ценно и эффективно писать модульные тесты, которые не запускаются на целевом устройстве (или эмуляторе).

Частое тестирование на вашем целевом оборудовании имеет мучительно медленный цикл:

1. Настройте свой код
2. Скомпилировать и загрузить на устройство Arduino
3. Наблюдайте за поведением и угадайте, выполняет ли ваш код то, что вы ожидаете.
4. Повторить

Шаг 3 особенно неприятен, если вы ожидаете получать диагностические сообщения через последовательный порт, но сам ваш проект должен использовать единственный последовательный порт вашего Arduino. Если вы думали, что библиотека SoftwareSerial может помочь, вы должны знать, что это может нарушить любую функциональность, которая требует точного времени, например, одновременное генерирование других сигналов. Эта проблема случилась со мной.

Опять же, если вы должны были протестировать свой скетч с помощью эмулятора, и ваши критичные ко времени процедуры работали безупречно до тех пор, пока вы не загрузили его на настоящую Arduino, то единственный урок, который вы усвоите, - это то, что эмулятор ошибочен - и зная это до сих пор. не раскрывает ничего о качестве вашей собственной работы.

Если глупо тестировать на устройстве или эмуляторе, что следует делать?

Вы, вероятно, используете компьютер для работы над своим проектом Arduino. Этот компьютер на порядки быстрее микроконтроллера. Напишите тесты, которые нужно собрать и запустить на вашем компьютере.

Помните, что поведение библиотеки и микроконтроллера Arduino следует считать правильным или, по крайней мере, постоянно неправильным.

Если результаты ваших тестов противоречат вашим ожиданиям, то, скорее всего, у вас есть недостаток в тестируемом коде. Если результат вашего теста соответствует вашим ожиданиям, но программа ведет себя некорректно, когда вы загружаете его в Arduino, значит, вы знаете, что ваши тесты основывались на неверных предположениях и, вероятно, у вас есть некорректный тест. В любом случае вам будет дано реальное представление о том, какими должны быть ваши следующие изменения кода. Качество вашего отзыва повышено с "что-то не работает" на "этот конкретный код не работает".

Как создавать и запускать тесты на вашем ПК

Первое, что вам нужно сделать, это определить цели тестирования. Подумайте, какие части вашего собственного кода вы хотите протестировать, а затем убедитесь, что ваша программа построена таким образом, чтобы вы могли изолировать отдельные части для тестирования.

Если части, которые вы хотите протестировать, вызывают какие-либо функции Arduino, вам нужно будет предоставить имитацию замены в вашей тестовой программе. Это намного меньше работы, чем кажется. Ваши макеты не должны ничего делать, кроме как обеспечивать предсказуемые ввод и вывод для ваших тестов.

Любой ваш собственный код, который вы собираетесь протестировать, должен существовать в исходных файлах, кроме скетча .pde. Не волнуйтесь, ваш скетч все равно будет компилироваться даже с некоторым исходным кодом за пределами скетча. Когда вы действительно приступите к делу, в файле скетча должно быть определено немного больше, чем обычная точка входа вашей программы.

Осталось только написать настоящие тесты, а затем скомпилировать их с помощью вашего любимого компилятора C ++! Вероятно, лучше всего это проиллюстрировать на примере из реальной жизни.

Реальный рабочий пример

В одном из моих любимых проектов, найденных здесь, есть несколько простых тестов, которые выполняются на ПК. Для этого ответа я просто расскажу, как я смоделировал некоторые функции библиотеки Arduino, и тесты, которые я написал для тестирования этих макетов. Это не противоречит тому, что я сказал ранее о том, что не тестировал чужой код, потому что это я написал макеты. Я хотел быть уверенным, что мои макеты верны.

Источник mock_arduino.cpp, который содержит код, который дублирует некоторые функции поддержки, предоставляемые библиотекой Arduino:

#include <sys/timeb.h>
#include "mock_arduino.h"

timeb t_start;
unsigned long millis() {
  timeb t_now;
  ftime(&t_now);
  return (t_now.time  - t_start.time) * 1000 + (t_now.millitm - t_start.millitm);
}

void delay( unsigned long ms ) {
  unsigned long start = millis();
  while(millis() - start < ms){}
}

void initialize_mock_arduino() {
  ftime(&t_start);
}

Я использую следующий макет для создания читаемого вывода, когда мой код записывает двоичные данные на аппаратное последовательное устройство.

fake_serial.h

#include <iostream>

class FakeSerial {
public:
  void begin(unsigned long);
  void end();
  size_t write(const unsigned char*, size_t);
};

extern FakeSerial Serial;

fake_serial.cpp

#include <cstring>
#include <iostream>
#include <iomanip>

#include "fake_serial.h"

void FakeSerial::begin(unsigned long speed) {
  return;
}

void FakeSerial::end() {
  return;
}

size_t FakeSerial::write( const unsigned char buf[], size_t size ) {
  using namespace std;
  ios_base::fmtflags oldFlags = cout.flags();
  streamsize oldPrec = cout.precision();
  char oldFill = cout.fill();

  cout << "Serial::write: ";
  cout << internal << setfill('0');

  for( unsigned int i = 0; i < size; i++ ){
    cout << setw(2) << hex << (unsigned int)buf[i] << " ";
  }
  cout << endl;

  cout.flags(oldFlags);
  cout.precision(oldPrec);
  cout.fill(oldFill);

  return size;
}

FakeSerial Serial;

и, наконец, собственно тестовая программа:

#include "mock_arduino.h"

using namespace std;

void millis_test() {
  unsigned long start = millis();
  cout << "millis() test start: " << start << endl;
  while( millis() - start < 10000 ) {
    cout << millis() << endl;
    sleep(1);
  }
  unsigned long end = millis();
  cout << "End of test - duration: " << end - start << "ms" << endl;
}

void delay_test() {
  unsigned long start = millis();
  cout << "delay() test start: " << start << endl;
  while( millis() - start < 10000 ) {
    cout << millis() << endl;
    delay(250);
  }
  unsigned long end = millis();
  cout << "End of test - duration: " << end - start << "ms" << endl;
}

void run_tests() {
  millis_test();
  delay_test();
}

int main(int argc, char **argv){
  initialize_mock_arduino();
  run_tests();
}

Этот пост достаточно длинный, поэтому, пожалуйста, обратитесь к моему проекту на GitHub, чтобы увидеть еще несколько тестовых примеров в действии. Я храню свои незавершенные работы в ветвях, отличных от master, поэтому проверяйте и эти ветки на предмет дополнительных тестов.

Я решил написать свои собственные облегченные процедуры тестирования, но также доступны более надежные среды модульного тестирования, такие как CppUnit.

Ввиду отсутствия каких-либо ранее существовавших сред модульного тестирования для Arduino я создал ArduinoUnit. Вот простой скетч Arduino, демонстрирующий его использование:

#include <ArduinoUnit.h>

// Create test suite
TestSuite suite;

void setup() {
    Serial.begin(9600);    
}

// Create a test called 'addition' in the test suite
test(addition) {
    assertEquals(3, 1 + 2);
}

void loop() {
    // Run test suite, printing results to the serial port
    suite.run();
}

Я добился значительного успеха в модульном тестировании моего кода PIC, абстрагируя доступ к оборудованию и имитируя его в своих тестах.

Например, я абстрагирую ПОРТУ с помощью

#define SetPortA(v) {PORTA = v;}

Тогда SetPortA можно будет легко смоделировать без добавления служебного кода в PIC-версию.

После того, как аппаратная абстракция была протестирована некоторое время, я вскоре обнаружил, что обычно код переходит с тестовой установки на PIC и работает с первого раза.

Обновление:

Я использую шов #include для кода модуля, # включение кода модуля в файл C ++ для тестовой установки и файл C для целевого кода.

В качестве примера я хочу мультиплексировать четыре 7-сегментных дисплея, один порт управляет сегментами, а второй выбирает дисплей. Код дисплея взаимодействует с дисплеями через SetSegmentData(char) и SetDisplay(char). Я могу поиздеваться над ними на своем тестовом стенде C ++ и проверить, получаю ли я ожидаемые данные. Для цели я использую #define, чтобы получить прямое назначение без накладных расходов на вызов функции.

#define SetSegmentData(x) {PORTA = x;}

Кажется, что emulino отлично справится с этой задачей.

Emulino - это эмулятор платформы Arduino от Грега Хьюгилла. (Источник)

репозиторий GitHub

simavr - это симулятор AVR, использующий avr-gcc.

Он уже поддерживает несколько микроконтроллеров ATTiny и ATMega, и, по словам автора, легко добавить еще несколько.

В примерах находится simduino, эмулятор Arduino. Он поддерживает запуск загрузчика Arduino и может быть запрограммирован с помощью avrdude через Socat (модифицированный Netcat).

Вы можете выполнить модульное тестирование на Python с моим проектом PySimAVR. Arscons используется для построения, а simavr - для моделирования.

Пример:

from pysimavr.sim import ArduinoSim    
def test_atmega88():
    mcu = 'atmega88'
    snippet = 'Serial.print("hello");'

    output = ArduinoSim(snippet=snippet, mcu=mcu, timespan=0.01).get_serial()
    assert output == 'hello'

Начать тест:

$ nosetests pysimavr/examples/test_example.py
pysimavr.examples.test_example.test_atmega88 ... ok

Я не знаю ни одной платформы, которая может тестировать код Arduino.

Однако существует платформа Fritzing, которую вы можете использовать для моделирования оборудования и позже. экспортировать схемы печатных плат и прочее.

Стоит проверить.

Мы используем платы Arduino для сбора данных в большом научном эксперименте. Впоследствии нам придется поддерживать несколько плат Arduino с разными реализациями. Я написал утилиты Python для динамической загрузки шестнадцатеричных изображений Arduino во время модульного тестирования. Код, указанный по ссылке ниже, поддерживает Windows и Mac OS X через файл конфигурации. Чтобы узнать, где ваши шестнадцатеричные изображения размещаются в среде Arduino IDE, нажмите клавишу Shift, прежде чем нажимать кнопку сборки (воспроизведения). Нажмите клавишу Shift во время загрузки, чтобы узнать, где находится ваш avrdude (утилита загрузки из командной строки) в вашей системе / версии Arduino. В качестве альтернативы вы можете просмотреть включенные файлы конфигурации и использовать место установки (в настоящее время на Arduino 0020).

http://github.com/toddstavish/Python-Arduino-Unit-Testing

Эта программа позволяет автоматически запускать несколько модульных тестов Arduino. Процесс тестирования запускается на ПК, но тесты выполняются на реальном оборудовании Arduino. Один набор модульных тестов обычно используется для тестирования одной библиотеки Arduino. (это

Форум Arduino: http://arduino.cc/forum/index.php?topic=140027.0 < / а>

Страница проекта GitHub: http://jeroendoggen.github.com/Arduino-TestSuite

Страница в указателе пакетов Python: http://pypi.python.org/pypi/arduino_testsuite

Модульные тесты написаны с помощью «Библиотеки модульного тестирования Arduino»: http://code.google.com/p/arduinounit

Для каждого набора модульных тестов выполняются следующие шаги:

• Прочтите файл конфигурации, чтобы узнать, какие тесты запускать
• Скрипт компилирует и загружает скетч Arduino, содержащий код модульного тестирования.
• Модульные тесты выполняются на плате Arduino.
• Результаты теста распечатываются через последовательный порт и анализируются скриптом Python.
• Сценарий запускает следующий тест, повторяя вышеуказанные шаги для всех тестов, запрошенных в файле конфигурации.
• Сценарий распечатывает сводку, показывающую обзор всех неудачных / пройденных тестов в полном комплекте тестов.

Для этой цели я создал arduino_ci. Хотя он ограничен тестированием библиотек Arduino (а не отдельных скетчей), он позволяет запускать модульные тесты либо локально, либо в системе CI (например, Travis CI или Appveyor).

Рассмотрим очень простую библиотеку в каталоге вашей библиотеки Arduino под названием DoSomething с do-something.cpp:

#include <Arduino.h>
#include "do-something.h"

int doSomething(void) {
  return 4;
};

Вы должны выполнить модульное тестирование следующим образом (с тестовым файлом с именем test/is_four.cpp или каким-то другим):

#include <ArduinoUnitTests.h>
#include "../do-something.h"

unittest(library_does_something)
{
  assertEqual(4, doSomething());
}

unittest_main()  // this is a macro for main().  just go with it.

Это все. Если этот assertEqual синтаксис и структура теста кажутся знакомыми, то это потому, что я принял некоторые из библиотеки ArduinoUnit Мэтью Мердока, поэтому он упоминается в его ответе.

Дополнительную информацию о модульном тестировании I / Контакты O, часы, последовательные порты и т. Д.

Эти модульные тесты компилируются и запускаются с использованием скрипта, содержащегося в рубиновом геме. Примеры того, как это настроить, см. В README.md или просто скопируйте один из этих примеров:

• Практический пример: тестирование реализации очереди
• Еще один набор тестов для другого проекта очереди
• Сложный пример, имитирующий библиотеку, которая управляет интерактивным устройством через соединение SoftwareSerial как часть Библиотека Adafruit FONA
• Показанная выше библиотека примеров DoSomething используется для тестирования самой arduino_ci.

Храните программный код отдельно или абстрагированно от остального, чтобы вы могли тестировать и отлаживать этот более крупный «отдых» на любой платформе, для которой у вас есть хорошие инструменты и с которой вы знакомы больше всего.

По сути, постарайтесь собрать как можно больше окончательного кода из как можно большего числа известных в работе строительных блоков. Оставшаяся работа, связанная с оборудованием, будет намного проще и быстрее. Вы можете завершить его, используя существующие эмуляторы и / или эмулируя устройства самостоятельно. И тогда, конечно, вам нужно как-то проверить настоящую вещь. В зависимости от обстоятельств, это может быть или не очень хорошо автоматизировать (то есть кто или что будет нажимать кнопки и предоставлять другие входные данные? Кто или что будет наблюдать и интерпретировать различные индикаторы и выходы?).

Джеймс В. Греннинг пишет отличные книги, и эта посвящена модульному тестированию встроенного кода C Разработка через тестирование для встроенного C.

Я использую Searduino при написании кода Arduino. Searduino - это симулятор Arduino и среда разработки (Makefiles, код C ...), которая упрощает взлом на C / C ++ с помощью вашего любимого редактора. Вы можете импортировать эскизы Arduino и запускать их в симуляторе.

Снимок экрана Searduino 0.8: http://searduino.files.wordpress.com/2014/01/jearduino-0-8.png

Будет выпущен Searduino 0.9, и видео будет записано, как только будут проведены последние тесты ... через день или два.

Тестирование на симуляторе не следует рассматривать как настоящие тесты, но оно, безусловно, очень помогло мне в поиске глупых / логических ошибок (забвение сделать pinMode(xx, OUTPUT) и т. Д.).

Кстати: Я один из разработчиков Searduino.

Существует проект под названием ncore, который предоставляет собственное ядро ​​для Arduino. И позволяет писать тесты для кода Arduino.

Из описания проекта

Собственное ядро ​​позволяет компилировать и запускать скетчи Arduino на ПК, как правило, без каких-либо изменений. Он предоставляет собственные версии стандартных функций Arduino и интерфейс командной строки для ввода данных в ваш эскиз, которые обычно поступают от самого оборудования.

Также в разделе "что мне нужно для его использования"

Если вы хотите создать тесты, вам понадобится cxxtest из http://cxxtest.tigris.org. NCORE был протестирован cxxtest 3.10.1.

Если вы хотите провести модульное тестирование кода вне MCU (на настольном компьютере), проверьте libcheck: https://libcheck.github.io/check/

Я использовал его для тестирования собственного встроенного кода несколько раз. Это довольно надежный фреймворк.

Вы можете использовать emulare - вы можете перетащить микроконтроллер на диаграмму и запустить свой код в Eclipse. В документации на веб-сайте рассказывается, как его настроить.

Используйте Proteus VSM с библиотекой Arduino для отладки или тестирования кода.

Это лучшая практика, прежде чем вводить свой код на борт, но обязательно укажите время, потому что симуляция не запускается в реальном времени, поскольку они запускаются на плате.

Попробуйте Симулятор схем Autodesk. Это позволяет тестировать код и схемы Arduino со многими другими аппаратными компонентами.

В основном Arduino пишется на C и C ++, даже библиотеки arduino написаны на C и C ++. Итак, простыми словами, просто обрабатывайте код как C и C ++ и попробуйте выполнить модульное тестирование. Под словом «дескриптор» я подразумеваю, что вы изменили весь базовый синтаксис, например, serial.println на sysout, pinmode на varaibles, цикл void на цикл while (), который прерывается либо в ключевой таблице, либо после некоторой итерации.

Я знаю, что это немного долгий и непростой процесс. По моему личному опыту, как только вы начнете с ним делать, это окажется более надежным.

-Nandha_Frost

Если вы заинтересованы в запуске эскиза INO и проверке последовательного вывода, у меня есть рабочая реализация этого в моем Контрольная сумма Arduino NMEA.

Следующий сценарий берет файл и использует интерфейс командной строки Arduino для компиляции его в файл HEX, который затем загружается в SimAVR, который оценивает его и распечатывает последовательный вывод. Поскольку все программы Arduino работают вечно, не имея возможности убить себя (exit(0) не работает), я позволяю скетчу работать в течение нескольких секунд, а затем сравниваю захваченный результат с ожидаемым результатом.

Загрузите и извлеките Arduino CLI (в данном случае версия 0.5.0 - последняя на момент написания):

curl -L https://github.com/arduino/arduino-cli/releases/download/0.5.0/arduino-cli_0.5.0_Linux_64bit.tar.gz -o arduino-cli.tar.gz
tar -xvzf arduino-cli.tar.gz

Теперь вы можете обновить индекс и установить соответствующее ядро:

./arduino-cli core update-index
./arduino-cli core install arduino:avr

Предполагая, что ваш скетч называется nmea-checksum.ino, чтобы получить ELF и HEX, запустите:

./arduino-cli compile -b arduino:avr:uno nmea-checksum.ino

Затем SimAVR для запуска HEX (или ELF) - я собираю из исходников, потому что последний выпуск у меня не работал:

sudo apt-get update
sudo apt-get install -y build-essential libelf-dev avr-libc gcc-avr freeglut3-dev libncurses5-dev pkg-config
git clone https://github.com/buserror/simavr.git
cd simavr
make

Успешная компиляция даст вам simavr/run_avr, который вы можете использовать для запуска скетча. Как я уже сказал, timeout иначе он никогда не завершится:

cd simavr
timeout 10 ./run_avr -m atmega168 -f 16000000 ../../nmea-checksum.ino.arduino.avr.uno.elf &> nmea-checksum.ino.clog || true

Сгенерированный файл будет содержать управляющие символы цветового кода ANSI, обертывающие последовательный вывод, чтобы избавиться от них:

cat nmea-checksum.ino.clog | sed -r "s/\x1B\[([0-9]{1,2}(;[0-9]{1,2})?)?[mGK]//g" > nmea-checksum.ino.log
cat nmea-checksum.ino.log

Теперь все, что вам нужно сделать, это сравнить этот файл с заведомо исправным файлом:

diff nmea-checksum.ino.log ../../nmea-checksum.ino.test

Если нет различий, diff выйдет с кодом 0, иначе сценарий завершится ошибкой.