Запущена вакцина для новичков в области ИИ

Решение проблемы — правильно подойти к проблеме, не позволяя чувствовать проблему как проблему.

Первоначально опубликовано на: amitnkhade.com

Проблема с первого взгляда

Новички в AIML и Data Science сталкиваются с множеством трудностей. Они не получают надлежащих указаний о том, как решать конкретную проблему, и поэтому они разочаровываются и не могут войти в сообщество специалистов по данным и внести свой вклад в него. Вокруг бродит много гениальных людей, но из-за неправильного видения сообщества ИИ и Data Science не могут извлечь выгоду из своего мозга (все думают по-разному и все решают проблемы по-разному). Даже если оно того стоило, у них нет возможности проявить себя. Но что, если случайно они получат шанс и войдут в отрасль?

Будут ли их следующие главы легкими или трудными?

Снижение стоимости модели глубокого обучения. Действительно?

Одна из самых больших проблем, с которой сталкивается стартап или развивающаяся организация, когда они входят в индустрию искусственного интеллекта, — это эффективное развертывание. Не так ли?

Давайте погрузимся немного глубже

Все начинают с идеи, следуют конвейеру машинного обучения и застревают где-то рядом с частью развертывания. Предположим, что преобразование речи в текст необходимо интегрировать в программное обеспечение, но человек, реализующий его, знает, что это можно сделать двумя способами. то есть с использованием методов глубокого обучения или с использованием API преобразования речи в текст. Но он или она не сможет решить, что именно следует делать.

Шаг вперед

С запутанным умом человек будет пробовать оба пути параллельно. Но после выхода на рынок API парень будет буквально шокирован ценой за секунду, поэтому следующим решением, которое он увидит, будет использование глубокого обучения (а вот и безумие).

Решение будет разделено на 2 проблематичных способа.

Использование предварительно обученных моделей и их тонкая настройка
Использование доработанных моделей
Создание с нуля

Но даже после принятия любого из них возникнут проблемы с точностью и временем вывода. Эти две вещи имеют наибольшее значение для продажи продукта. Где-то между этими проблемами вишенкой на торте будет размер модели, из-за которого происходит задержка, полностью разочаровывающая пользователя. В связи с этим человеком нет ни одного профессионала или эксперта, который мог бы хотя бы мельком увидеть решение. Все надежды рушатся. Наконец, мы застряли в паутине проблем, и в такой разочаровывающей ситуации не видно никаких решений.

Идеальным решением будет забыть обо всем, вздремнуть и читать дальше

Держите чашку кофе

Вот способы, которыми мы можем справиться с ситуацией:

Во-первых, изложите проблему и решения на бумаге, будьте ясны и знайте, что именно вы делаете и что нужно сделать. Планируйте и двигайтесь соответственно. Тот (Вы), кто читает, и (я) знает, что никто не убьет вас, если вы не выполните то, что должны выполнить. (Просто сохраняйте такой менталитет, но не переставайте пытаться)
Попробуйте больше узнать о решениях проблемы и дайте ей еще немного времени (время все лечит). Поверьте, в конце концов вы получите все, что хотите, и все ваши задачи будут выполнены со временем.

Мы взяли пример преобразования речи в текст в эту статью при создании сценария давления. Давайте также посмотрим, как мы можем решить эту проблему, если это произойдет в нашем случае.

Если API доступны для вас, вам не нужно читать дальше (спасибо за посещение). Но для тех, кто не считает их доступными (как в моем случае), вы должны использовать предварительно обученные, точно настроенные модели, готовые к развертыванию несколькими компаниями, такими как Torch, TensorFlow и Caffe. Вы найдете концентратор TensorFlow, концентратор Torch и многие другие, которые предоставляют такую модель. Следующим является то, что вы можете найти способ справиться с размером модели, вы можете использовать различные методы квантования модели и методы обрезки, которые обычно игнорируются многими. Это автоматически уменьшит стоимость и повысит производительность при увеличении ускорения и уменьшении размера модели. Проблема также возникает, если развертывание осуществляется на устройствах на базе ЦП, таких как граничные устройства (например, устройства IoT). Доступна платформа ONNX и многие другие, которые увеличивают время вывода модели на машине с процессором. Эта общая стратегия оптимизирует проект до 70%. Оптимизация делается с точки зрения скорости, но как насчет точности потока?

Вы должны точно настроить модель для конкретной задачи, если вы ожидаете от нее обслуживания клиентов, вы должны настроить ее на тех же данных и на том же типе данных. Если модель обучена на предметно-ориентированных данных, она обеспечит хорошую точность.

Настраивая модель регулярно или несколько раз, вы заметите отставание в точности, и в этом нет ничего нового, это обычная проблема, с которой сталкиваются люди. Существует ряд исследований, посвященных подходу к переобучению модели и связанным с ним проблемам. Они показывают, что переобучение модели заставит ее забыть данные, которые она обучала в прошлом, и обучить на новых данных (не спрашивайте у прошлое). Это явление называется дрейфом данных. Это происходит из-за изменения распределения данных. Есть некоторые методы, а также меры предосторожности, которые следует применять к нему, чтобы избежать такого поведения модели.

Наконец, мы запустили модель в производство. Это не конец, мониторинг может продолжаться, но мы можем просто попытаться уменьшить количество проблем и сделать конвейер безошибочным, чтобы улучшить взаимодействие с пользователем.

Заключение

Даже если прошло много времени с тех пор, как ИИ развился, компаниям было трудно внедрить его и применить в правильном направлении. Даже сегодня есть повторяющиеся проблемы, для которых доступно только 60% решений. Проблемы не исчезли полностью, но находятся в стадии изучения, и поэтому их немного сложно использовать. Даже если решения проблемы доступны через Интернет, человеку все равно требуется время, чтобы реализовать их должным образом, мы сталкиваемся с множеством препятствий (особенно с точки зрения новичка). Мы привыкаем к чему-то, когда это делается несколько раз по-разному.

Мои предложения

Не форумы, а отдельную платформу нужно сделать совершенно бесплатной, чтобы приносить больше Илонов. Это просто поможет парню приобрести нужные знания, и мир обязательно испытает что-то новое.

Там, где знание встречается с достоинством, происходит волшебство.