Мы знаем, что в Интернете нет секретов, и все данные, введенные на веб-странице, будут автоматически записаны. Когда накопление данных достаточно велико, количественные изменения вызывают качественные изменения. «Большие данные» наделяют Интернет IQ за счет целенаправленного анализа массивных данных, что повышает роль Интернета от простого обмена данными и передачи информации до анализа, основанного на массивных данных.
Большие данные родились в результате быстрого развития Интернета, и отправную точку можно проследить примерно до 2000 года. В то время веб-страницы в Интернете росли в геометрической прогрессии. Каждый день добавлялось около 7 миллионов новых веб-страниц. К концу 2000 года количество глобальных веб-страниц достигло 4 миллиардов, что делало поиск информации для пользователей все более неудобным.
Такие компании, как Google, взяли на себя инициативу по созданию индексной библиотеки, охватывающей миллиарды веб-страниц, и начали предоставлять более точные поисковые услуги, значительно повысив эффективность использования людьми Интернета, который является отправной точкой для приложений больших данных. В то время данные, которые поисковые системы должны были хранить и обрабатывать, были не только беспрецедентными по количеству, но и в основном неструктурированными данными, с которыми традиционные технологии не справлялись.
С этой целью Google предложил набор новых технологических систем, характеризующихся распределенностью, а именно распределенную файловую систему (GFS, Google File System), распределенные параллельные вычисления (MapReduce) и распределенную базу данных (BigTable), которые впоследствии были раскрыты. Технология, чтобы достичь масштаба, которого предыдущая технология не могла достичь при меньших затратах. Эти технологии заложили основу современной технологии больших данных и могут рассматриваться как источник технологии больших данных.
С ростом интернет-индустрии эта инновационная технология массовой обработки данных стала применяться в электронной коммерции, целевой рекламе, интеллектуальных рекомендациях, социальных сетях и т. д. и добилась большого коммерческого успеха. Это вдохновило все общество на пересмотр огромной ценности данных, поэтому отрасли с большими объемами данных, такие как финансы и телекоммуникации, начали опробовать эту новую концепцию и технологию и достигли первых результатов. В то же время отрасль постоянно расширяет техническую систему, предложенную Google, чтобы ее можно было использовать в большем количестве сценариев.
Большие данные помогут собирать и обобщать непрерывную информацию об основных платформах веб-сайтов в Интернете, а затем отфильтровывать соответствующие данные в соответствии с бизнес-атрибутами и указывать отраслевые ключевые слова для повышения коэффициента конверсии. Сфера применения систем больших данных относительно широка. В настоящее время они используются во многих отраслях промышленности, таких как машиностроение, упаковка, продукты питания, полиграфия, реклама, недвижимость и мебель. Например, если вы производитель продуктов питания и у вас есть оптовики и дистрибьюторы для последующих клиентов, вы можете собирать и проверять конкретных клиентов по всей стране с помощью крупномасштабной системы привлечения клиентов, чтобы установить контакт и конверсию.
Большие данные активно способствуют взаимосвязи информационных систем и общедоступных данных, ускоряют интеграцию информационных платформ, устраняют информационные острова, способствуют открытию ресурсов данных для общества, повышают доверие к бизнесу и направляют развитие бизнеса. Обслуживание государственных предприятий, создание непринужденной и справедливой среды, расширение исследований и разработок ключевых технологий больших данных, промышленного развития и обучения кадров, сосредоточение внимания на поощрении сбора и исследования данных, углубление инновационного применения больших данных в различных отраслях и продвижение здоровое развитие индустрии больших данных.
