Использование глубокого обучения

Для тех, кто пропустил предыдущие части Copista: разработка приложения Neural Style Transfer с помощью TensorFlow Mobile, этот блог представляет собой подход инженера-программиста к машинному обучению.

Введение

В прошлом году я был вполне доволен Copista и получал положительные отзывы от пользователей Copista.

До этого момента пользователи не начали спрашивать об изображениях с высоким разрешением и даже изображениями в оригинальном размере :(

Кодовая база и модели Copista 1.x ограничены доступными ресурсами устройства, а обычное разрешение моделей Copista 1.x составляет около 800 x 600 пикселей (или примерно 0,5 мегапикселя).

Современные мобильные устройства оснащены камерами с гораздо более высоким разрешением, например, 5000 x 4000 пикселей (или 20 мегапикселей) и даже больше. Есть несколько мощных устройств высокого класса с 40-мегапиксельными камерами!

Один из способов обеспечить передачу стиля изображения с высоким разрешением — настроить облачную машину (машины) с достаточно большим графическим процессором и памятью для создания изображений размером 3000 X 3000 пикселей и выше.

Я отказался от этой идеи, потому что понял, что это слишком дорого для моего бюджета.

Другой вариант — найти способ создавать изображения с высоким разрешением на мобильном устройстве.

Вывод на устройстве против вывода на основе облака

  • Вызов и развлечение. Я решил, что должно быть интересно провести некоторые исследования и предоставить решение для логического вывода на устройстве для передачи стиля изображения с высоким разрешением, а не полагаться на облачный вывод.

Есть и другие :) практические преимущества логического вывода на устройстве по сравнению с логическим выводом в облаке.

  • Работа в автономном режиме:Copista не требует подключения к Интернету для работы. Если вы не в сети или ваше соединение нестабильно (например, вы едете в поезде), вы все равно можете использовать Copista и сохранять результаты на своем устройстве.
  • Стоимость. Облачное решение стоит денег. Если есть много запросов с большими изображениями, в долгосрочной перспективе поддержка может стоить больших денег.
  • Конфиденциальность данных. Сегодня конфиденциальность данных пользователей очень важна. Copista не загружает изображения пользователей в облако. Вся обработка выполняется на устройстве.

На что это похоже?

Вы можете сами проверить результаты здесь Copista — фотофильтры с искусственным интеллектом кубизма, экспрессионизма в Google Play.

Когда вы откроете изображение в Copista 2.0 и примените к нему какой-либо стиль, вы заметите размер изображения в левом нижнем углу, прямо под изображением.

Затем вы можете изменить размер сгенерированного (стилизованного) изображения, нажав кнопку размера изображения в верхнем меню.

Вы увидите диалоговое окно с доступными размерами изображения и приблизительным временем вывода. Таким образом, вы можете выбрать то, что подходит именно вам.

По умолчанию исходный размер изображения отключен, но вы можете включить его в Настройках.

Если опция PRO включена, у вас будет указан полный диапазон размеров изображений, включая исходный размер изображения, как вы можете видеть на рисунке выше.

Что дальше?

1. Было бы интересно покопаться в проблеме сверхвысокого разрешения. Модели со сверхвысоким разрешением выглядят аналогично моделям переноса стиля изображения.

2. TensorFlow Mobile больше не поддерживается. Вместо этого Google предоставляет TF Lite https://www.tensorflow.org/lite. В настоящее время модели TF Lite ограничены в поддерживаемых ими операциях. Также TF Lite — это не та же кодовая база, что и TF. Я имею в виду, что код свертки в TF Lite отличается от TF. Поскольку модели TF необходимо преобразовать в модели TF Lite, это делает актуальными другие платформы логического вывода. Было бы интересно сравнить производительность, простоту использования и размеры приложений для разных библиотек логических выводов.

3. Как всегда будет обратная связь от пользователей, и это всегда интересно, так как вы не можете этого ожидать :)

Буду рад услышать ваши вопросы и отзывы! Не забудьте попробовать Copista — фотофильтры с искусственным интеллектом кубизма, экспрессионизма в Google Play.