Существует набор данных под названием Labeled Faces In The Wild (LFW), содержащий около 13 000 фотографий людей, взятых из Интернета. В рамках этой небольшой серии я прогнал каждого из них через FaceNet, чтобы получить вектор признаков, который представляет их черты лица.

Системы распознавания лиц, работающие с векторами, созданными FaceNet, способны превзойти людей по отраслевым тестам (кстати, это довольно недавняя веха).

Вы можете думать об этих векторах как о точке в 512-мерном пространстве. Когда вы хотите узнать, принадлежит ли данное лицо тому же человеку, что и другое, вы берете расстояние между двумя точками. Я использовал это свойство на днях, чтобы создать изображение различных лиц Марка, отсортированных по тому, насколько они далеки от его среднего лица.

Сегодня я отсортировал все лица в LFW по тому, насколько они далеки от среднего уровня Марка. Вот выборка из 160 из них, отсортированных сверху вниз и слева направо:

Вот ближайшие 160:

И самые далекие:

Что выделяется для меня:

  • В восьмерке - черный парень и женщина
  • Алгоритму явно мешают очки, шляпы, тени и то, что я называю «экстремальными выражениями лица».
  • Для меня восемь лучших не похожи на двойников Цука.

Следует иметь в виду, что, хотя у LFW более 13 000 фотографий, это всего лишь пара тысяч человек, и в основном это знаменитости. Я бы очень хотел попробовать это на более крупном и разнообразном наборе данных. Должны быть люди, которые намного больше похожи на Зака, которые пробились в общедоступные наборы данных.

Не знаю, как обращаться со шляпами и очками. Тем не менее, это должно быть исследование. Я хочу погрузиться в процесс настройки этих отраслевых тестов (на которых FaceNet отлично справляется). Очки вычищены / размытость / окклюзия лица / и т. Д.? Есть ли тесты, по которым эти системы в настоящее время не побеждают людей?

Я почти уверен, что ошибаюсь, используя среднее значение различных лиц Марка. Я думаю, что мне нужно обучить простой двоичный классификатор, который принимает в качестве входных данных векторы признаков, а затем ранжирует все лица по вероятности, выдаваемой классификатором. Я скоро попробую. [ОБНОВЛЕНИЕ: пробовал!]

С другой стороны, почему Марк никогда не носит очки или шляпу? Думаю, фотографии, которые я скопировал, крайне необъективны. Их обычно ставят и принимают (предположительно) профессионалы. Возможно, мне понадобится погрузиться в мир папарацци, чтобы получить менее предвзятые изображения его лица.

(вот суть того, как я получил эти результаты: https://gist.github.com/atroche/287d803c6610a4500e18f009e7a38b4e)