Как добиться успеха в SEO в мире машинного обучения

Самая большая угроза для SEO-специалистов — отсутствие существенных изменений в отрасли. Если вы не знаете, как машинное обучение уже влияет на SEO, вы рискуете принять неправильное решение для своей компании или клиента. Время быть на шаг впереди — сейчас.

В хип-хопе говорят: «игра изменилась».

Вот почему я выступал на Цифровом Саммите в Денвере именно на эту тему.

Как достичь уровня SEO 9000 в мире машинного обученияот Кевина Индига

Исследование для презентации оставило мне массу ссылок и ресурсов, которые я не хотел выбрасывать. Отсюда и эта статья. Если вы хотите проверить их прямо сейчас, прокрутите эту статью до конца.

Прежде чем мы углубимся в тему, два предостережения:

Я не собираюсь давать общее введение в машинное обучение. Другие, такие как Eric Enge, Udacity, NYTIMES, Jeff Dean или Mike King, могут сделать это намного лучше.
Пожалуйста, имейте в виду, что завтра мы не проснемся в терминаторском апокалипсисе. Машинное обучение и искусственный интеллект все еще находятся в зачаточном состоянии. Он редко используется в SEO. Пока что.

Искусственный интеллект существенно изменит мир — и Google

Мир вращается все быстрее и быстрее. IPhone только что исполнилось (всего) 10 лет. Всего через 13 лет после его запуска Facebook достиг 2 миллиардов пользователей. Google достиг уровня размера данных и возможностей обработки, при котором они могут почти ежедневно обновлять свои алгоритмы. Машинное обучение только ускорит это развитие.

В недавно опубликованном исследовании [1] (май 2017 г.) ученые из Оксфорда и Йельского университета спросили 1600 экспертов по искусственному интеллекту, когда, по их мнению, искусственный интеллект сможет достичь человеческого интеллекта.

Участники также подсчитали, что машины будут лучше людей на

2024 в переводе
2026 в написании школьного сочинения
2027 за рулем грузовика
2031 в продажах в розницу
2049 в написании бестселлера
2053 г. при проведении операции на человеке

Конечно, эту тенденцию поддерживают обычные подозреваемые, от Facebook до Amazon. И, конечно же, Гугл. Это началось с приобретения DeepMind [2], затем Сундар Пичаи заявил, что Google превратился из первой мобильной компании в первую компанию с искусственным интеллектом и достиг переломного момента в замене Амита Сингхала Джоном Джаннандреа в 2015 [3]. Амит был убежденным сторонником классического поиска информации. По словам людей, которые работали с ним над алгоритмом поиска, его интуиция в отношении качества поиска была настолько хороша, что им просто пришлось построить алгоритм вокруг нее. Теперь ситуация изменилась, когда Джаннандреа, явный лидер ИИ, стал новым руководителем отдела поиска.

Приобретение Deepmind ускорило использование машинного обучения в Google. Видео от Джеффа Дина о Deep Learning [4] показывает его экспоненциальный рост, начиная с 2014 года (приобретение Deepmind).

Имейте в виду, что этот график заканчивается во втором квартале 2016 года, которому сейчас около года. Так что можете себе представить, насколько дальше Google интегрировала машинное обучение.

Это приводит к странному переходу от классического поиска информации к машинному обучению. Мы находимся в переломном моменте, когда важно понять, что на нас надвигается, чтобы мы могли приспособиться и изменить свое положение.

Итак, вопрос: как выглядит SEO в мире, который находится на грани поиска, управляемого ИИ?

Оптимизация под намерения пользователя

В 2017 году у вас не будет шансов попасть в рейтинг, если вы не удовлетворите намерение пользователя правильным форматом. У пользователей есть четкие ожидания относительно того, какой тип контента им нужен для определенного запроса. Но не всегда очевидно, каковы их ожидания. К счастью, поисковая выдача дает нам хорошую идею.

Посмотрите в поисковой выдаче «вдохновение для прически».

Пользователи ищут вдохновение в этом запросе. И они хотят это в виде изображений. Если ваша страница по этому ключевому слову не перегружена изображениями, вы не будете ранжироваться. Конечно, Google показывает интеграцию поиска изображений довольно высоко в поисковой выдаче, что является намеком на это.

Кстати, сайт www.lookli.st прекрасно это понял и построил целое приложение вокруг этого намерения пользователя. У них нет ни одной строки текста на странице/сайте, и они занимают 4-е место в категории вдохновение для прически. Это хороший анекдот для контента, который не обязательно должен быть текстом. Контентом могут быть изображения (Pinterest), видео (Youtube) или приложение (Looklist).

Еще один пример того, как Google четко определил намерение пользователя по поисковому запросу, — «стрижка». Пользователи действительно хотят подстричься, когда они ищут «стрижка». Они не хотят определения слова, истории стрижек или знать, какие стрижки самые лучшие. Намерение пользователя определяется местоположением.

Google даже показывает карту поверх поисковой выдачи, чтобы сразу направить людей к следующему местоположению. Еще одна «подсказка». На данный момент меня восхищает то, что 6 из 9 органических результатов получены от Yelp.

Запрос «выпрямить волосы» имеет обучающее намерение пользователя. Люди хотят узнать, как лучше всего выпрямлять волосы. Поэтому Google показывает туториалы для 9 из 10 результатов. Если ваш контент не структурирован вокруг учебника, вы не будете ранжироваться.

Google даже пытается показать само руководство в поле Featured Snippet (подсказка).

Последний пример, подтверждающий суть: люди, которые ищут «фен», хотят его купить.

Семь из 10 результатов — это страницы, на которых можно купить фен. Только три результата сравнивают фены. Конечно, Google размещает интеграцию с покупками в верхней части поисковой выдачи (подсказка).

Итак, вы поняли: неправильный формат = отсутствие ранжирования. Минимальная жизнеспособная вещь, которую вы должны сделать, — это выполнить быстрый поиск по ключевому слову, по которому вы хотите ранжироваться, и посмотреть, сможете ли вы удовлетворить намерения пользователя своим контентом. Как мы также узнали, Google дает нам подсказки в поисковой выдаче о том, какой контент они ожидают для данного запроса.

Следующим логическим вопросом должен быть «что мне делать после того, как я определил намерение пользователя?»

Создавайте целостный контент

Целостный контент характеризуется полным охватом темы со всеми связанными с ней подтемами. Это означает, что когда вы пишете на тему «автомобиль», вам необходимо охватить атрибуты (скорость, цена, мощность), детали (шины, сиденья дворников), >бренды (Audi, Porsche,Toyota) и функции (кондиционер, кожаные сиденья, люк).

Спросите себя, каковы классификации [12] в теме, о которой вы пишете. Допустим, вы пишете о животном. Животное является частью определенного вида, имеет размер и признаки, такие как морда или хвост. Или вы пишете о городе, у которого есть не только размер, но и количество жителей, отношение к государству и стране и достопримечательности.

В машинном обучении такие классификации называются сущностями. Цель Google — понять взаимосвязь между этими сущностями.

Джефф Дин, супер-гуру машинного обучения в Google, объясняет этот принцип в видео (начало 32:19), о котором я упоминал ранее [4].

Google использует платформы обработки естественного языка Word2Vec [5] и SyntaxNET [7] в TensorFlow, чтобы понять отношения между словами. Word2Vec позволяет помещать термины в вектор и вычислять расстояние между ними (очень упрощенно).

Кстати, наш друг Джефф Дин [9] участвовал в написании оригинального патента ;-).

SyntaxNET помогает Google понимать синтаксис предложений. Это очень важно для понимания взаимосвязи сущностей.

Instagram недавно использовал Word2Vec [6] для понимания контекста (значения) эмодзи, которые становятся их собственным языком.

Это позволило им понять, как пользователи интерпретируют смайлики. Например, эмодзи молящихся рук изначально задумывался как «дай пять», но люди используют его для выражения благодарности.

Для Google понимание значения темы или ключевого слова является огромной проблемой, и мы можем облегчить им задачу, создав целостный контент.

Помимо охвата всех соответствующих сущностей, холизм также характеризуется глубиной и шириной. «Глубина» означает, насколько подробно и обширно вы освещаете тему, «ширина» означает, насколько вы помещаете ее в контекст и охватываете связанные темы. Один из способов добиться этого — консолидировать контент, т. е. объединить несколько статей, посвященных связанным темам, в одну большую статью-монстр.

Целостный контент также курируется, то есть он актуален и содержит все важные фрагменты и ссылки. Конкретно это означает, что вы должны регулярно проверять свой контент на наличие устаревшей информации и информации, которая является новой, но отсутствует на вашей странице.

Вы также должны убедиться, что используете различные типы контента на странице (изображения, видео, интеграцию с социальными сетями, например, твиты и публикации в IG, приложения и т. д.), чтобы обеспечить наилучшее взаимодействие с пользователем. Как мы узнали, здесь главную роль играет намерение пользователя.

Хорошим сигналом к тому, чтобы увидеть, насколько целостным является ваш контент, является проверка того, по скольким ключевым словам он ранжируется. Чтобы придерживаться примеров с волосами, посмотрите, по скольким ключевым словам ранжируется первый результат по запросу «фен». 1766! С одной страницы! Второй результат от Sallybeauty ранжируется по 3068 ключевым словам!

При просмотре этих ключевых слов становится очевидным, что Google ранжирует страницу по всевозможным вариантам и ключевым словам, связанным с «фен».

Мы начали замечать эту тенденцию с тех пор, как Google пересмотрел свой основной алгоритм и назвал его Колибри в 2013 году. С тех пор он стал намного лучше понимать контекст и смысл. За это понимание отвечает механизм RankBrain[10]. Я бы поставил много денег на теорию о том, что понимание Google резко возрастет в течение следующих 12–24 месяцев.

Google настаивает на целостном контенте, потому что это лучший опыт для пользователей. Кстати о пользователях…

Сосредоточьтесь на пользовательских сигналах

Пользовательские (поведенческие) сигналы сообщают нам, насколько удовлетворены люди, приходящие на наш сайт (из обычного поиска), тем, что они видят. Решаем ли мы проблему, с которой к нам пришел пользователь? Вопрос о том, насколько Google использует эти сигналы, остается спорным [13]. Недавние исследования фактора ранжирования от Searchmetrics [8] и SEMrush обнаружили корреляцию пользовательских сигналов с более высоким рейтингом.

В частности, рейтинг кликов (из поисковой выдачи), кажется, имеет большое значение в рейтинге. В последнем исследовании Searchmetrics он был признан самым сильным фактором ранжирования.

Также стоит обратить внимание на время пребывания на сайте, страниц за сеанс и показатель отказов. Важно сегментировать эти показатели, то есть разделить их дальше, чтобы лучше понять. Например, недостаточно просто посмотреть на показатель отказов. Вместо этого посмотрите на показатель отказов для каждого устройства или страны.

Обязательно сравнивайте пользовательские сигналы для страниц с средним значением для всего сайта или, что еще лучше, со страницами с тем же шаблоном. Кроме того, посмотрите на пользовательские сигналы за более длительный период времени, чем 7 дней. По моему мнению, последние 30 дней — это абсолютный минимум. В противном случае сложно обнаружить сезонность и получить достаточно данных для репрезентативной выборки.

В Google Analytics это будет выглядеть так:

Как вы можете видеть в примере, две страницы (я очистил URL-адреса) торчат с показателем отказов выше среднего.

Для этих страниц стоит выяснить, в чем может быть проблема. Гипотеза может быть:

Страница ранжируется по ключевым словам, для которых она не релевантна (происходит все реже и реже)
Страница не выполняет то, что обещает
Продукт / основной контент плохой
…

Этот процесс может только вызвать дополнительные вопросы, но он приведет вас к основной проблеме. Улучшение плохих пользовательских сигналов является ключом к успеху SEO — сейчас и в будущем.

При составлении презентации мне также стало любопытно, как обратные ссылки будут сочетаться с пользовательскими сигналами и контентом. Я начал в эпоху, когда было достаточно взорвать страницу обратными ссылками, чтобы ранжироваться по всем видам ключевых слов. Это явно изменилось. Поэтому я провел небольшое мини-исследование, изучив четыре ключевых слова с высокой частотой поиска и сравнив профиль их обратных ссылок с их рейтингом. Чтобы получить наилучшее представление о данных, я использовал данные AHREF, SEMrush и Moz.

Первое ключевое слово, на которое я обратил внимание, было «agile» (около 50 тысяч поисковых запросов в месяц), для которого первые два результата имеют самые сильные профили обратных ссылок. Однако у тех, кто находится на № 2–10, вообще нет сильных профилей обратных ссылок!

Контент на agilenutshell.com (третий сайт в списке) очень тонкий! В нем всего два предложения и два изображения, но пользовательский опыт великолепен, и я уверен, что многие люди просматривают микросайт. Таким образом, этот сайт ранжируется ни по содержанию, ни по обратным ссылкам.

Удовлетворенность пользователей: 1, обратные ссылки: 0

Затем я посмотрел на «iPhone 7», ключевое слово с примерно 277 тысячами запросов в месяц. Мы видим аналогичную картину. Первый результат имеет очень сильный профиль обратных ссылок. В этом есть смысл, поскольку Apple является производителем iPhone (и самым сильным брендом в мире). Но потом снова становится интересно: № 2–5 имеют слабые профили обратных ссылок.

Пользовательские сигналы: 2, обратные ссылки: 1

«Бесплатный кредитный рейтинг» имеет около 250 тысяч запросов в месяц, но показывает другую картину. Результат с самым сильным профилем обратных ссылок на #9!

На самом деле, большинство результатов, занимающих первые места, слабы с точки зрения обратных ссылок, а не №2. Но учитывая тот факт, что кредитно-финансовая отрасль, вероятно, является самой конкурентной (и прибыльной), этот результат поразителен!

Удовлетворенность пользователей: 3, обратные ссылки: 1

Наконец, давайте посмотрим на ключевое слово, которое чаще всего ищут в этом мини-исследовании с ~ 450 тысячами запросов в месяц, «калькулятор автокредита».

И снова мы находим очень разнообразную картину для топ-10 рейтинга страниц и только лучший результат с самым сильным профилем.

Итог: кажется, что вам по-прежнему нужен сильный профиль обратных ссылок, чтобы занимать первое место, но не от второго до десятого.

Вам по-прежнему нужен сильный профиль обратных ссылок, чтобы занимать первое место, но не места 2–10. Нажмите, чтобы твитнуть

Если бы мне пришлось выдвинуть гипотезу, я бы сказал, что машинное обучение позволяет Google обрабатывать огромные массивы данных и, следовательно, более целесообразно использовать данные о поведении пользователей. Представители Google раньше говорили, что эти данные были «слишком зашумлены», но я лично считаю, что это становится все меньше и меньше проблемой.

Еще одним огромным изменением в индустрии SEO является переход от общих факторов ранжирования к специфическим отраслевым факторам ранжирования. Чего-чего? Да! Исследования, подобные недавним исследованиям Searchmetrics, начинают показывать, что факторы ранжирования по-разному взвешиваются в разных отраслях.

Проверьте, как факторы ранжирования применимы к вам

Например, фактор ранжирования «ключевое слово в заголовке» по-разному применяется к отрасли здравоохранения по сравнению с финансовой отраслью. Это существенно! С логической точки зрения это логично. У меня нет данных, подтверждающих это, но я считаю возможным, что эта тенденция будет усиливаться, и поэтому важно проверить, как определенные факторы ранжирования применимы к вашему веб-сайту и отрасли*.

* Вы не можете измерить влияние на всю отрасль, но, по крайней мере, на ключевые слова, по которым вы ранжируетесь.

Как оптимизаторы, мы хотим знать, что движет иглой. Мы делимся своими знаниями со «сценой» и коллегами в надежде, что все мы делаем друг друга умнее. Все выигрывают. Но когда одни и те же правила не применимы ко всем отраслям, мы должны найти способы экспериментировать внутри отрасли. Вот где в игру вступает тестирование.

Этси сделал это.

Чертежная кнопка сделала это.

Pinterest тоже сделал это.

Вопрос: как они это сделали? Классическое A/B или многовариантное тестирование невозможно в SEO, потому что вы не имеете дело с пользователями. Вы имеете дело с одной поисковой системой, и размер выборки, равный 1, не позволяет проводить сравнение. Невозможно создать лабораторную среду для SEO. Мы не можем определить влияние одного фактора на ранжирование страницы со 100% уверенностью. У Google просто слишком много факторов ранжирования, которые работают одновременно и пересекаются.

Для решения этой задачи мы используем парное t-тестирование. В упрощенном варианте это означает

а) идентификация страниц с одним и тем же шаблоном
б) разделение их на группы (не менее двух)
в) внесение изменений в одну или несколько групп и
г) сравнение их с тестовой группой.

Важно сравнивать средние значения этих групп друг с другом, поскольку они получают разное количество трафика.

Еще пара вещей, которые следует учитывать:

Выбор достаточно большого набора страниц и разумный размер групп имеют решающее значение для успеха эксперимента. Если у вас в наборе 1000 страниц, вы можете легко разделить их на четыре группы или даже на 10. В то же время, 5 страниц недостаточно для тестирования.
Оставьте достаточно времени, чтобы изменения вступили в силу. Поскольку страницы имеют разную частоту сканирования, Google будет сканировать одни страницы дольше, чем другие. Таким образом, изменения, которые вы вносите в тестовую группу, вступают в силу через некоторое время. Подождите не менее 14–21 дней после внесения изменений и отмены изменений. Время выполнения эксперимента также зависит от объема трафика, который вы получаете на этих страницах. Со временем вы лучше почувствуете разумное время работы.
Не забудьте отменить изменения, внесенные вами в тестовые группы. В противном случае вы не сможете измерить точное влияние фактора ранжирования.
Документируйте эксперименты для загробного мира / SEO-сцены / личного удовольствия. Слишком часто я вижу отличные знания, которые не документируются внутри компаний, потому что люди слишком ленивы, чтобы это делать.

Подвергните сомнению свои выводы. Исследования (и тестирование) — это бесконечная игра вопросов. Ответы ведут к большему количеству вопросов. Конечно, вы можете действовать в соответствии с результатами теста, но вы никогда не должны прекращать тестирование. Это должно стать частью вашей ДНК.

Вы никогда не должны прекращать тестирование. Это должно стать частью вашей ДНК. Нажмите, чтобы твитнуть

Но тестирование — не единственное, что нам теперь нужно сделать, чтобы преуспеть в этой новой среде. Мы не можем смотреть только на себя. Растущая тенденция отраслевых факторов ранжирования также делает крайне важным следить за другими.

Следите за своей отраслью

Чаще всего мы можем узнать, что работает у лучших в своем классе. Мониторинг ваших конкурентов позволяет выявить не только возможности и угрозы, но и то, куда движется отрасль в целом. В SEO мы смотрим на долю рынка с точки зрения ключевых слов и рейтинга.

Возьмем, к примеру, индустрию розничной торговли модной одеждой. У нас есть Macys (синий), Nordstrom (зеленый), Kohls (оранжевый) и Sears (красный). Давайте пока сосредоточимся на них. Глядя на чистую SEO-видимость, которая сама по себе мало что вам говорит, мы видим, что Macys примерно вдвое больше, чем Sears.

Тенденции рынка становятся очевидными, если мы немного увеличим масштаб и посмотрим на изменения на уровне ключевых слов. У всех игроков был всплеск SEO-видимости, начиная с 29 января, и падение, начиная с 14 мая.

Что ж, это интересно.

Давайте рассмотрим еще один пример, демонстрирующий еще более интересный сдвиг на рынке. Индустрия социальных сетей имеет одни из крупнейших сайтов в мире.

Facebook (красный) явно лидирует, за ним следуют Twitter (оранжевый), а Instagram (синий) и Pinterest (зеленый) ведут напряженную гонку за третье место.

Оказывается, Pinterest обошла Instagram в первую неделю июня.

На обоих сайтах есть подкаталоги «исследование», которые содержат страницы, на которых они показывают коллекции изображений, созданных пользователями, по определенным темам.

Важно отметить, что подкаталог /explore/ предоставляет огромный кусок рейтинга для Pinterest…

…но не для Instagram.

Одна из тем, для которой оба сайта собирают изображения, — «Рождество». Рождественская страница Instagram на первый взгляд похожа на страницу Pinterest, но при ближайшем рассмотрении можно обнаружить некоторые интересные детали.

Есть небольшие, тонкие различия, которые имеют большое значение. Это может быть причиной того, что Pinterest опережает Instagram.

В то время как в Instagram есть только изображения, Pinterest гораздо лучше справляется со связыванием страниц исследования для создания узлов тем. Помните, я писал о целостном содержании в самом начале этой статьи? Это именно то, что Pinterest делает здесь. Они охватывают темы целостно.

Вы видите цветные кнопки под заголовком страницы («Новогодние штучки», «Новогодние украшения своими руками», «Новогодний декор» и т. д.). Это первый слой: связанные темы/ключевые слова. Охватывая все связанные подтемы, они повышают свою актуальность для основной темы (Рождество).

Навигация по хлебной крошке в верхней части страницы создает второй слой. Вы видите, что это ссылки на более высокий уровень в иерархии «Праздники и события».

Это показывает, насколько стратегически Pinterest охватывает под-, основные и связанные темы. Стратегия окупается. Рождественская страница Instagram не имеет шансов против Pinterest, хотя пользовательская база Instagram в 4 раза больше, чем у Pinterest.

Представьте, что вы игрок в индустрии социальных сетей. Эти вещи нужно знать! Они могут дать вам конкурентное преимущество, которое выражается в долларах.

Вы получаете гораздо более подробные данные, когда отслеживаете свои самые важные ключевые слова по сравнению с конкурентами, чтобы понять свою долю рынка. Если бы вы были Pinterest, это сказало бы вам, что вы конкурируете не только с Instagram, но и с Amazon, eBay, Wikipedia и т. д.

Pinterest сейчас конкурирует с интернет-магазинами, потому что более транзакционные ключевые слова также имеют вдохновляющее намерение пользователя (предположение). Раньше люди либо хотели учиться, либо покупать в Интернете, но в настоящее время люди просматривают Интернет, чтобы вдохновиться и найти что-то новое. Это интернет-витрина.

Вы приходите к этим выводам только тогда, когда тратите время на мониторинг своей отрасли.

Вкратце: сосредоточьтесь на намерениях пользователя, целостном содержании, SEO-тестировании и мониторинге вашей отрасли.

Машинное обучение изменит SEO более фундаментально, чем Penguin и Panda, но мы еще не достигли этого.

ИИ используется только в небольших конкретных случаях использования для органического поиска, но его использование, похоже, быстро растет. Моя гипотеза состоит в том, что Google откроет много возможностей для использования данных, которые раньше были слишком зашумлены. Это изменит поиск и нашу жизнь в целом [11].

Чтобы оставаться на вершине SEO и по-прежнему добиваться успеха в 2020 году, убедитесь, что у пользователя правильные намерения, измеряйте поведение пользователя и создавайте целостный контент. . Убедитесь, что вы внимательно следите за своей отраслью, отслеживая определенные ключевые слова, отслеживая своих конкурентов и проверяя, какие факторы ранжирования применимы к вам. Наконец, не забудьте подписаться на меня в Твиттере @Kevin_Indig и на этот блог, чтобы получать регулярные обновления.

PS: последний пункт необязателен ;-).

Ресурсы

Первоначально опубликовано на сайте www.kevin-indig.com 7 августа 2017 года.