Как работает поиск человека по фото лица и почему он не находит: очки, поворот головы, качество снимка

Поиск человека по фото лица идёт в четыре шага: система находит лицо, выравнивает его по ключевым точкам — глазам, бровям, уголкам рта, — превращает в набор чисел и сравнивает с лицами из своей базы по порогу. Человек не находится, если его снимков нет в базе: поисковик знает только открытые фото, которые успел проиндексировать. Вторая причина — плохой кадр: профиль, тёмные очки, маска, мелкое или размытое лицо, фильтр. А Google и TinEye ищут копии и похожие картинки, а не конкретного человека.

Как устроен поиск по лицу: четыре шага

Разберём шаги на примере открытой библиотеки dlib: все они описаны в её документации.

Шаг 1. Найти лицо

Детектор ищет на снимке лицо и обводит его рамкой. Классический детектор dlib рассчитан на лица анфас размером примерно от 80 × 80 пикселей. Если увеличить снимок вдвое, он найдёт лица от 40 × 40 пикселей, но работать будет медленнее. Не нашлось лицо — сравнивать нечего.

Шаг 2. Выровнять по ключевым точкам

Затем на лицо ставятся ключевые точки: уголки рта, брови, глаза. В одном из примеров dlib таких точек 68, а для выравнивания перед распознаванием хватает пяти. По точкам лицо поворачивают, центрируют и вырезают квадрат 150 × 150 пикселей, чтобы все лица были в одной позе.

Шаг 3. Превратить лицо в числа

Нейросеть переводит выровненное лицо в числовой вектор. В dlib это 128 чисел. Авторы системы FaceNet описали тот же принцип в 2015 году: расстояние между векторами прямо показывает, насколько лица похожи, а на одно лицо уходит всего 128 байт.

Шаг 4. Сравнить с базой по порогу

Снимки одного человека дают близкие векторы, разных людей — далёкие. В dlib порог — 0,6: если расстояние меньше, программа считает, что это один человек. Сравнение бывает «один к одному», как при разблокировке телефона или проверке паспорта, и «один ко многим», когда лицо ищут по всей базе. Поиск человека по фото — второй случай: найти он может только тех, кто уже есть в базе.

Главная причина промаха: человека нет в базе

Поисковики не видят весь интернет. Яндекс Картинки, по их справке, ищут только по картинкам в свободном доступе, и нужных снимков в выдаче может не быть, если Яндекс их не проиндексировал. TinEye объясняет промах так же: его краулер ещё не обошёл страницу, где лежит снимок.

Значит, фото из закрытого профиля, переписки или со страницы, закрытой от индексации, не найдётся, как бы хорош ни был кадр.

Не каждый поиск по картинке ищет людей

TinEye прямо пишет, что не распознаёт лица: он находит тот же снимок, даже обрезанный или отредактированный, но не другие фото того же человека. Google в справке перечисляет, что даёт поиск по изображению: похожие картинки, сведения об объектах на снимке и сайты с этим или похожим изображением. О поиске людей там ни слова. Сама компания пишет, что осторожно внедряет распознавание лиц в продукты, а её облачный сервис Vision не поддерживает распознавание конкретного человека. Яндекс среди задач поиска по картинке называет «узнать, что изображено или кто изображен на фото», но и он ищет только среди проиндексированных снимков.

Поиск копии снимка и поиск человека — разные задачи. Как понять, откуда взялась фотография и где она появилась впервые, разобрано в статье о том, как найти первоисточник фото.

Что сбивает поиск: ракурс, очки, маска, качество

Поворот головы

В профиль видна только половина лица, и точки ставятся неточно. В исследовании набора CFP 2016 года все проверенные алгоритмы теряли больше 10 % точности, когда профиль сравнивали с анфасом. В отчёте NIST 2019 года уже отмечено, что несколько алгоритмов находят снимки сбоку по базе фото анфас.

Очки

Авторы работы, в которой выпустили набор снимков MeGlass, пишут, что очки могут значительно снизить точность распознавания. Тёмные очки закрывают глаза целиком, а это хуже. В исследовании бьюти-фильтров 2021 года сильнее всего вредили эффекты на глазах: без доработки точность опознания падала ниже 72 %.

Маска, шарф, рука

NIST в 2020 году проверил 89 коммерческих алгоритмов на снимках с масками, наложенными в цифровом виде (отчёт NISTIR 8311). У лучших ошибки выросли примерно с 0,3 % до 5 %, у многих — до 20–50 %. Чем выше маска закрывала нос, тем ниже была точность, и чаще программа вообще не могла извлечь черты лица. Шарф, капюшон, чёлка и рука мешают по той же причине: прячут часть точек.

Размер, резкость и свет

Мелкое лицо детектор может не увидеть, а растягивание снимка деталей не добавит. NIST отмечает, что алгоритмы всё лучше справляются с плохим светом и низким качеством. Но среди оставшихся ошибок большую долю дают как раз плохие снимки, а ещё старение и травмы лица.

Фильтры и годы

Бьюти-фильтр и сильная ретушь меняют то, что измеряет программа, а маски-эффекты с ушами и носами закрывают часть лица. Важен и возраст снимка: по данным NIST, чем больше времени прошло между фотографиями, тем ниже сходство.

Почему поиск находит чужих

Строгий порог реже путает людей, но чаще пропускает нужного, мягкий — пускает в выдачу двойников. NIST пишет, что высокое сходство дают похожие люди и близнецы. Поэтому совпадение в выдаче ещё не доказывает, что на фото тот же человек.

Закон и этика

Сведения о физиологических и биологических особенностях человека, по которым можно установить его личность, закон называет биометрическими персональными данными. По статье 11 закона № 152-ФЗ, если оператор использует такие сведения для установления личности, нужно письменное согласие человека; исключения — в части 2 статьи. Статья 152.1 Гражданского кодекса разрешает использовать изображение гражданина только с его согласия, с некоторыми исключениями, и даёт право требовать удалить снимок, распространённый в интернете с нарушением.

Искать незнакомого человека по фото без его согласия может нарушать закон и его частную жизнь. Эта статья объясняет технологию, чтобы вы понимали её пределы и защищали свои снимки, а не следили за другими.

Проверка фото собеседника — другая задача: там ищут не человека, а копии снимка, сток или работу нейросети. Об этом — в статье о том, как проверить фото на сайте знакомств.

Как защитить свои фото от поиска по лицу

Правило простое: чего нет в открытом индексе, того поиск не найдёт.

• Удалите лишние снимки. Если фото лежит на чужом сайте, попросите владельца сайта его удалить — так советует Google. Из поиска снимок пропадёт со временем, у Яндекса — примерно через две-три недели.
• Проверьте копии. Робот Яндекса находит копии картинок, поэтому снимок может остаться на других сайтах.
• Ограничьте доступ к профилям. Яндекс Картинки ищут только по изображениям в свободном доступе.
• Не ставьте одну аватарку везде. Одинаковое фото связывает аккаунты: по одному профилю легко найти остальные. Чем это опасно, объясняет статья о том, что такое деанон и докс.

Итог

Поиск по лицу находит лицо, выравнивает его по точкам, переводит в числа и сравнивает с базой по порогу. Промах возможен на каждом шаге: профиль и тёмные очки мешают поставить точки, маска и фильтры прячут черты, мелкое лицо не находится вовсе. Но чаще искать просто не среди чего: поисковик знает только открытые снимки, которые успел проиндексировать, а Google и TinEye ищут копии, а не людей. Другие разборы о поиске по фото и цифровой безопасности — в каталоге статей.