До появления больших данных был скромный бортовой журнал.

Операционные метрики должны быть разработаны так, чтобы фиксировать не только ошибки и аномалии. Разработчики программного обеспечения должны уделять внутреннему измерению должное внимание, которого оно заслуживает.

Кларисса, основательница Tangled Web Services, открыла собрание Tech Monday: «Я пригласила капитана Каймана рассказать нам об экспедиции Магеллана 1521 года и, что более важно, о том, как было зарегистрировано первое кругосветное плавание в мире.

«Я знаю, что это может показаться случайным, но я думаю, вы сочтете это актуальным для нашей собственной работы в области технологий. В этой истории есть не один урок ".

Капитан Кайман спроецировал изображение на переднюю стену конференц-зала и начал со слов: «Это лучшая дань уважения, которую я знаю, в честь одного из величайших исследовательских достижений человечества».

Когда он сделал паузу для эффекта, остальные в комнате подняли глаза и увидели строки кратких сокращений с незнакомыми словами, числами и датами.

«Это страница из журнала Франсиско Альво о продвижении флота через Южные моря в 1521 году.

Более трех месяцев экипаж видел только солнце, звезды и открытые воды Тихого океана.

Помните, что в то время размер Земли сильно недооценивался. То, что они думали, будет всего лишь коротким переходом из Южной Америки к островам специй, вместо этого стало изнурительным испытанием на выносливость.

Каждый день этого перехода записывался в derrotero, вахтенный журнал, с записями, состоящими из даты, направления корабля, его широты и пройденного расстояния. Благодаря этим записям курс корабля мог быть нанесен на бескрайние неизведанные просторы, а размер Земли определялся на основе эмпирических данных.

Между прочим, не все эти данные было легко получить.

  • С датой, конечно, не было проблем - пока рекордсмен был старательным.
  • Направление корабля можно было получить, усреднив показания компаса, снятые в течение дня.
  • А широту можно получить из полуденной высоты Солнца, скорректированной с учетом текущего наклона Земли (то есть дня года).

Но определить пройденное расстояние - и, если посчитать, текущую долготу корабля - было непросто. Это требовало тщательного точного расчета. Для этого бросали бревно за борт, развязывали привязанную к нему веревку, ожидали, пока песок в песочных часах достигнет своего конца, натягивали веревку и подсчитывали количество равномерно расположенных узлов веревки. которые были выплачены. Это измерение проводилось несколько раз в день.

Пилот корабля усреднил эти измерения с поправкой на то, как он оценил текущую скорость воды, и записал общую скорость корабля (в узлах) и пройденное расстояние в официальном судовом журнале.

Все эти усилия могли показаться излишними для работы флота, потому что в тот момент они не обеспечивали никакого облегчения от монотонности, никакой защиты от штормов, никакой оценки того, когда (если вообще когда-либо) они достигнут края океана. Но, в конце концов, именно эти измерения позволили другим последовать их примеру.

Путешествие Магеллана через Тихий океан выявило серьезные различия в размерах Земли. Его тщательный каротаж показал, что окружность Земли на самом деле на 5250 километров больше, чем считалось ранее!

"Что все это значит?" - спросила Кларисса. «Как мы можем лучше вести лесозаготовки? Как мы можем во всем этом разобраться ».

«Большие данные», - крикнул кто-то сзади.

«Машинное обучение», - добавил кто-то другой.

"Искусственный интеллект!"

Потом долгая пауза, в тишине стихли словечки.

«Мне кажется, - предложил Антони, специалист по аналитике серверов, - что журналы сервера похожи на записи в журнале Франсиско Альво. Их ценность заключается в цепочках, а не в среднем ".

Это было встречено озадаченным взглядом.

«Я имею в виду вот что. Когда я смотрю журналы серверов с наших веб-сайтов, я легко могу считать средние значения. Сколько посетителей на каждой странице. Какие браузеры используют люди. Мобильный против настольного компьютера. Азия против Европы. Пиковые часы посещения. Это просто. Ценность, о которой я думаю, находится в обсуждениях. Коэффициенты конверсии. A / B тестирование. Вроде того. Поэтому нам нужно лучше отслеживать, как люди перемещаются по нашим веб-сайтам. Что их туда привело? Как они переходили от страницы к странице? Когда они наконец ушли? »

«Ах, так аналитика, да?» - спросила Кларисса.

«Аналитика, да, но не только количество кликов, количество прочтений, ретвитов и все эти бесполезные цифры. Нам нужно лучше вести журнал, чтобы понимать поведение и мотивацию, а не только действия и реакции.

«Мне кажется смешным, что, несмотря на огромные воды, окружавшие их, Магеллан и его команда находились под постоянной угрозой обезвоживания. Иногда я чувствую себя моряком - меня накатывает море данных, но нигде не могу найти полезную информацию.

«Вот пример того, что нужно улучшить: пометить записи журнала кодами серьезности info, warning, error, severe. Ой! Они взяты прямо из сборника пьес IBM 1970 года.

«Почему бы не пометить их категориями вроде invalid для неправильного ввода данных пользователем, logic для программных утверждений, которые не удалось, security для злоумышленников, пытающихся получить доступ, devops для сбоев сети и базы данных или analytics для отслеживания путей в системе с достигнутыми вехами.

«Подобные категории можно сочетать с другими значениями, которые предоставляют контекстные подсказки для проблем в системе, или уровень предупреждений об уровне обслуживания для NetOps, или флажки A / B для маркетинга и т. Д.

«Кроме того, прекратите ограничивать записи в журнале только одной длинной текстовой строкой. Добавьте доступные для поиска поля, которые можно объединять и анализировать.

Антони закончил свою тираду, но почему-то не успокоился. Кларисса пыталась утешить его: «Не воспринимай это так серьезно, от этого не зависит размер мира».

Антони старался все исправить. Вот его текущий взгляд на то, как анализировать журналы вашего сервера.