Публикации по теме 'hugging-face'


HuggingFace — Токенизация
Как мы знаем, ни одна модель машинного обучения не может получать на вход необработанные данные. Текст должен быть токенизирован, и он должен быть закодирован как числовые векторы, а затем передан в модель. Токенизация — это шаг, который оптимально разделит слова корпуса на части. Можно сказать, что существует 3 метода токенизации. 1). Токенизация персонажей 2). Токенизация слов 3). Токенизация подслов Токенизация персонажей: Строка — это не что иное, как массив символов,..
Talk@PyData London 2022  — «Машинное обучение 2.0 с обнимающим лицом»
На этом занятии мы познакомим вас с моделями Transformer и с тем, какие бизнес-задачи вы можете решить с их помощью. Затем мы покажем вам, как вы можете упростить и ускорить свои сквозные проекты машинного обучения: экспериментирование, обучение, оптимизацию и развертывание. Попутно мы запустим несколько демонстраций, чтобы все было конкретно и увлекательно! Новичок в Трансформерах? https://huggingface.co/tasks https://huggingface.co/course https://discuss.huggingface.co
Тонкая настройка LLM для генеративного решения загадочных кроссвордов (ЧАСТЬ 1/2)
В последнее время мой интерес к разгадыванию загадочных кроссвордов, по общему признанию, стал чем-то вроде навязчивой идеи  — даже если они доставляют мне немало хлопот! Однажды я решил поэкспериментировать, смогу ли я решить их, используя методы глубокого обучения вместо своего мозга  — и именно здесь начинается этот мини-сериал. Сериал разбит на две части: ЧАСТЬ 1 . Тонкая настройка google/t5-small-ssm , небольшого экземпляра T5 LLM с 77M параметрами, доступного на..
Наборы данных HuggingFace
Наиболее распространенной задачей НЛП является классификация текста. Он имеет различные приложения, такие как пометка отзывов клиентов по категориям или маршрутизация обращений в службу поддержки на соответствующие языки и т. д. Анализ настроений — еще один распространенный тип применения НЛП. Анализ настроений дает полярность данного текста. Таким образом, НЛП имеет различные применения в самых разных областях. В этой статье я кратко расскажу о HuggingFace и о том, как мы можем..
Уменьшите ваши новости!
В постоянно развивающемся мире данных и технологий обработка больших объемов текста является серьезной проблемой. Обобщение текста — решение этой проблемы, и сегодня мы углубимся в одну из лучших моделей для этой задачи — BART-Large-CNN от Facebook от Hugging Face. Используя эту модель для набора данных из 100 новостных статей, мы стремимся создать DataFrame со статьями и их краткими сводками. Однако давайте сначала разберемся с организацией, стоящей за этим чудом — Hugging Face...
Трансформеры HuggingFace: новая эра нейронных сетей.
Трансформаторы - это новое семейство архитектур нейронных сетей, впервые предложенное в 2017 году и в основном используемое в области НЛП, оно похоже на другие семейства нейронных сетей, такие как сверточная нейронная сеть, рекуррентная нейронная сеть. CNN работает, имея скользящее окно, которое перемещается по входному массиву и проецирует его на меньший массив. Эти свертки затем накладываются друг на друга. Обычно эти типы моделей используются для данных изображений и не имеют большого..
Как использовать новую оценочную библиотеку Hugging Face
Узнайте, как использовать новую библиотеку Hugging Face под названием Evaluate для оценки ваших моделей ИИ, написав всего несколько строк кода К настоящему времени я уверен, что мы все слышали о Hugging Face — компании, которая прокладывает путь для моделей искусственного интеллекта с открытым исходным кодом со своей библиотекой Transformers, имеющей более 64 тысяч звезд на GitHub…