Быть родителем новорожденного - это всегда стресс.

Возникает много вопросов: справлюсь ли я со всеми новыми обязанностями? Стоит ли мне все время смотреть на ребенка? Что делать, если я нужен ребенку, а меня нет?

Помимо присмотра за детьми, существует также ваш обычный распорядок дня, который делает невозможным постоянно носить новорожденного с собой. Теперь с BabyGuard молодые родители могут следить за своим ребенком, выполняя повседневные дела.

Мы пришли к этой идее, так как обнаружили, что существующие решения (приложения или оборудование) довольно дороги или неудобны для пользователя. Более того, стандартные электронные няни обычно улавливают высокие звуки и не обязательно детский крик, поэтому на них сложно полагаться.

Нашей целью было создать современное приложение, которое стало бы лучшим другом родителей. Мы хотели сделать приложение простым и выделить три конкурентных преимущества:

  • Доступность - вы можете просто использовать свое старое устройство Android, вместо того, чтобы покупать дорогую электронную няню.
  • Надежность. Благодаря алгоритму машинного обучения наше решение фильтрует все звуки вокруг и уведомляет родителей только тогда, когда ребенок плачет, а не когда проезжает машина.
  • Безопасность. Приложение является полностью открытым и не отправляет данные на сторонние серверы без вашего согласия. Это означает, что вы будете единственным, кто будет видеть видеопоток вашего ребенка.

Создание электронной няни с камерой и детектором плача - наш подход

3566 часов, 7 инженеров, 2 дизайнера и одно видение - сделать жизнь молодых родителей проще.

Мы уделили много времени созданию простого, но вполне практичного и удобного приложения для наблюдения за младенцами. BabyGuard - это бесплатное мобильное приложение для Android, созданное с использованием родных языков программирования.

Внедренная технология (Машинное обучение, TensorFlow, WebRTC, WebSockets, Firebase) усложнила весь процесс разработки. Мы сосредоточились не только на красивом дизайне, но и на стабильности потокового видео и обработки звука на устройстве с помощью машинного обучения.

Наша команда инженеров по машинному обучению подготовила решение, которое обнаруживает детский плач и отфильтровывает его от всех других шумов вокруг. Таким образом, родители всегда получают уведомление, когда ребенок нуждается в уходе.

Как работает электронная няня?

Родительское устройство BabyGuard будет автоматически получать уведомление каждый раз, когда ваш ребенок просыпается и начинает плакать. Благодаря интеллектуальному оповещению о плаче ребенка на основе машинного обучения приложение не уведомляет вас ни о каких случайных звуках, но распознает настоящий плач.

С помощью системы камеры для няни вы всегда можете следить за своим ребенком в режиме реального времени. Видео и аудио вашего спящего ребенка можно транслировать на ваше родительское устройство в любое время.

Что также важно для всех родителей, BabyGuard защищает вашу конфиденциальность и конфиденциальность вашего ребенка. Приложение работает через Wi-Fi, поэтому использует только локальную сеть. Это означает, что данные вашего ребенка не передаются сторонним серверам.

Baby Guard может работать в фоновом режиме - ваше устройство автоматически выйдет из спящего режима, если ваш ребенок начнет плакать. Запуск приложения в фоновом режиме позволяет вам также использовать мобильное устройство для других целей, когда вам нужно.

Каким был процесс разработки BabyGuard?

Начало было непростым.

Нашей основной целью на этапе исследования было найти потоковое решение, которое работало бы на платформе Android. Мы протестировали 14 различных инструментов и в итоге остановились на WebRTC.

Для нас это был лучший вариант, потому что он работает с Android «из коробки» и позволяет нам быстро работать. На рынке есть более легкие решения, но они требуют большей настройки для нашего варианта использования и не соответствуют нашей цели, которая заключалась в быстром создании доказательства концепции.

Выбрав WebRTC в качестве основного инструмента, мы могли приступить к работе над частью проекта, посвященной машинному обучению. Мы начали нашу работу по созданию модели машинного обучения, которая поможет нам отличить плач от всех других шумов. Представьте себе, что вы проверяете около 3 часов записей, чтобы убедиться, что они содержат только плач ...

Если вы хотите узнать больше обо всем процессе обучения, ознакомьтесь с ситуацией: Как использовать модели машинного обучения, чтобы определить, плачет ли ребенок.

Наконец, мы начали работать над тем, чтобы сделать приложение полезным и удобным. Мы потратили много времени, выясняя, как разработать процесс сопряжения устройств и дополнительные функции. Вся команда проделала потрясающую работу, создав приложение, которое выглядит точно так же, как первоначальный дизайн, с большим вниманием к деталям.

После 7 месяцев напряженной работы мы хотим поделиться тем, что мы узнали в ходе этого действительно интересного научно-исследовательского проекта.

Хотя наша команда имеет большой опыт в реализации потокового аудио / видео во многих различных сценариях, всегда есть новые проблемы, которые необходимо решить. В BabyGuard нам пришлось обрабатывать зависания видеопотока и минимизировать их количество. Кроме того, из соображений безопасности мы решили использовать локальную сеть, чтобы не передавать данные третьим лицам. .

Каковы результаты?

BabyGuard, безусловно, одна из самых интересных инициатив, над которыми мы работали в рамках наших исследований и разработок. Мы смогли использовать действительно инновационные технические решения, такие как интеллектуальное обнаружение плача или обеспечение бесперебойной связи в системе Android.

Более того, мы могли бы создать продукт с множеством конкурентных преимуществ (по сравнению со стандартными электронными устройствами для няни), который обеспечит безопасную передачу активности ребенка и облегчит жизнь родителей.

И вы можете легко опробовать это сами - скачайте BabyGuard бесплатно.

Первоначально опубликовано на https://www.netguru.com.