Публикации по теме 'crawler'


Говорящий алгоритм: исследование интеллектуальных поисковых роботов
Введение «Если бы я спросил людей, чего они хотят, они бы ответили, что это более быстрые лошади», — Генри Форд Сегодня эпоха искусственного интеллекта. Будь то ChatGPT или различные интеллектуальные приложения, которые следуют за ним, многие люди видят грядущий научно-фантастический мир, который был почти невообразим несколько лет назад. Однако в области поисковых роботов искусственный интеллект, похоже, не слишком задействован. Это правда, что краулеры, как «древняя» технология,..

Подробное руководство по сканированию SPA с Puppeteer и поиску и устранению неисправностей
Веб-сайты эволюционировали от статических до современных приложений SPA, и с этими изменениями задачи SEO и веб-сканирования стали немного сложнее, поскольку вы не можете получить всю информацию из исходного html-документа. Здесь я поделюсь некоторыми руководствами о том, как сканировать веб-сайт, похожий на SPA, с помощью кукловода . В предыдущем посте я рассказал, как использовать существующий сервис, такой как prerender , для улучшения SEO для приложений SPA, но здесь мы..

Как я отобрал 8000+ отелей с hotels.ng
В этом посте рассказывается, как я скопировал более 8 тысяч отелей с hotels.ng с помощью web-crawljs . web-crawljs - это модуль npm, который упрощает сканирование и очистку информации с веб-страниц. web-crawljs может сканировать части веб-страниц, отображаемые сервером. Он не может сканировать части веб-страницы, созданные с помощью JavaScript. Поскольку большинство веб-сайтов в некотором роде рендерится на сервере, это лучше по сравнению с тяжелой оперативной памятью с..

MyBallot: как это работает
Как мы создали веб-сканер и выделенный сервер машинного обучения для сбора данных о кандидатах, баллотирующихся в местный офис MyBallot - это инструмент, который позволяет пользователям получать больше информации о местных выборах. Для получения дополнительной информации о нашем продукте и его функциях щелкните здесь . Мы создали MyBallot с опережением технологий. Мы знали, что собрать информацию о кандидатах в местный офис будет сложно. Данные в Интернете могут быть ограничены, а..

uCrawler: фабрика по созданию агрегаторов новостей на базе искусственного интеллекта
В этой статье рассказывается, как создать собственный агрегатор новостей на основе технологии машинного интеллекта для любого языка и тематики - и сделать это без суеты или необходимости иметь опыт программирования. Новости Робот В ноябре 2017 года я запустил проект Новостной робот . News Robot - это автоматизированная система, которая собирает и анализирует новости. Ему поручено извлекать данные из интернет-СМИ, выделять главные новости в различных категориях и группировать их..

Найдите работу, соответствующую вашей учебной программе, с помощью машинного обучения и помогите людям
Сейчас в Бразилии ситуация не очень хорошая. У нас более 500 тысяч умерших от Covid-19, многие компании закрылись, поэтому многие люди теряют работу. В моей ленте LinkedIn каждый день появляется новый пост об уволенном человеке, который ищет новую работу. Несколько месяцев назад, до пандемии, со мной произошло нечто подобное. Более 80 человек, включая меня, были внезапно уволены из-за того, что наша компания потеряла очень большой проект, который приносил более 60% дохода. В то..