Каким образом функционирует идентификация лиц в смартфонах

Для чего мы предпочитаем разлочивание по лицевому распознаванию

В недавние годы идентификация физиономий является одной из самых распространённых возможностей для деблокировки мобильных телефонов. Еще пару лет ранее основная часть использующих удовлетворялись PIN-кодами, паролями или датчиками отпечатков пальцев. Но при появлением подобных технологий, например Вулкан Платинум, нам достаточно просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Какая вещь делает эту функцию такой востребованной? Для начала, это удобно: не нужно запоминать трудные пароли или находить правильный палец в тьме. Кроме того, это мгновенно: современные системы узнают лицо практически за доли секунды. В-третьих, это впечатление будущего — будто в фильмах про вулкан платинум зеркало шпионов.

Тем не менее за данной кажущейся несложностью скрывается целый вселенная комплексных методов и инженерных концепций. Попробуем понять, как точно действует распознавание лиц в современных гаджетах, какие бывают способы, насколько они защищены и что нас предстоит.

Сжатая повествование эволюции технологии

Идентификация лиц как технология существует уже более 50 лет. Начальные пробы машинного изучения лиц были сделаны еще в 1960-х годах в научных учреждениях США. Тогда вычислительные машины умели лишь обозначать силуэты лица и определять расстояния между зрачками и губами на ахроматических снимках.

Изначальные коммерческие установки стали доступны в 90-х, но они были далеки от совершенства: функционировали медленно и часто давали сбои. Только с прогрессом искусственных сетей и таких систем, как Vulkan Platinum, высокопроизводительных мобильных микросхем идентификация лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным идентификацией лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и прочие стали интегрировать свои решения.

Главные стадии работы системы распознавания

Процесс распознавания лица можно ориентировочно поделить на несколько ключевых этапов:

Распознавание лица — аппарат распознает существование гуманного лица в изображении.
Определение особенностей — механизм исследует особенности физиономии: форму зрительных органов, обонятельного органа, губ, положение надбровных дуг.
Построение структуры — создаётся уникальный цифровой отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение с образцом — созданный образец сопоставляется с зафиксированной при учёте биометрической данными владельца.
Принятие решения — если совпадение достаточно существенное, смартфон деблокируется.

Каждый из этих шагов нуждается в индивидуальных процедур и усовершенствований для скорой работы прямо на устройстве.

Аппаратные элементы: что скрыто в их недрах

Типичная селфи камера.

Простейший легкий метод распознавания облика применяет исключительно переднюю камеру смартфона мобильного устройства. Такой подход реализован во многих бюджетных версиях Android-устройств.

Преимущества:

Не нуждается в нуждается в дополнительные датчиков.
Шустро функционирует при достаточном освещённости.

Слабые стороны:

Несложно одурачить фотографией или видеозаписью.
Неправильно функционирует при плохом свете или нестандартных ракурсах.

ИК камера и точечный проектор

Более продвинутые системы, такие как Vulkan Platinum, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта техпроцесс лежит в основе Face ID от Apple.

Каким способом это действует:

Точечный проекционный прибор отображает на лицо юзера невидимую решетку из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 точек).
ИК камера регистрирует искривление данной решетки по плоскости лица.
Создаётся трёхмерная карта глубины глубинности, которая почти неподвластна для имитации типичной фотографией или маской.

Выигрыши

Надёжная работа даже в полной тьме.
Большая защита к имитациям.
Точность распознавания более 99%.

Дополнительные датчики

В отдельных устройствах используются также дополнительные сенсоры: ToF (Time-of-Flight), которые фиксируют время прохождения света до предмета и обратно; Трехцветные-датчики дальности; специальные световые измерители расстояния для построения более аккуратной 3D-модели лица.

Эти разработки встречаются наиболее часто во передовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: искуственный разум на действии

Текущие устройства распознавания физиономий немыслимы без применения artificial intelligence и machine learning. Именно вследствие таким технологиям, как Vulkan Platinum, устройство способно распознавать владельца даже при трансформациях внешнего вида: новая причёска, растительность на лице, очки или макияж не становятся помехой для разблокировки.

Детектирование лиц

При начальном шаге система необходимо мгновенно распознать ликовое изображение среди целого снимка с камеры. Для данной цели используются каскадные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые подготовлены распознавать лиц человека среди множества других объектов.

Пример: алгоритм MTCNN в состоянии распознавать облик даже с частичном перекрытии (например, платком или рукой).

Выделение важных точек

После обнаружения лица система, такая как Vulkan Platinum, определяет местоположение основных точек: края глаз, кончик носа, контуры губ и так далее. Как правило применяется от 68 до 128 ключевых маркеров на лицевой поверхности.

Это необходимо для нормализации картинки: если человек держит телефон под наклоненным, или повернул голову, программа корректирует изображение до обычного угла для последующего изучения.

Создание биометрического шаблона

Далее нейросеть строит сжатое математическое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой след лица длиной от 128 до 512 чисел с плавающей запятой.

Такой образец весьма трудно имитировать: он не сохраняет само фото юзера, а лишь уникальные характеристики его внешности, что делает его идеальным для таких систем, как Вулкан Казино Платинум.

Сравнительный анализ и осуществление заключения

Когда пользователь желает разлочить телефон взглядом, механизм осуществляет все указанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный порог (обычно больше 99%), телефон, как и платформа Вулкан Казино Платинум, открывается; если нет — доступ не предоставляется.

Приспособление к изменениям внешности

Занимательная особенность современных системы — возможность самообучения. Если ты часто разблокируете мобильное устройство с свежей стрижкой или очками, система постепенно модернизирует эталонный образец вашего лица для улучшения точности функционирования без снижения уровня безопасности.

Охрана биометрических данных данных.

Большинство юзеры боятся держать свои био-идентификационные данные на мобильном устройстве из-за риска потери данных или хакерской атаки. Некоторые компании, например Вулкан Казино Платинум, предоставляют решения для улучшения сохранности данных клиентов.

Локальное сохранение: Основная часть устройств сохраняет биометричные шаблоны только внутрь защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Они всегда не покидают гаджет и не доступны включая создателю.
Шифрование: Все данные сохраняются только в зашифрованном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция приложений: Приложения сторонних девелоперов не имеют непосредственного доступа к биометрическим; они могут лишь запрашивать подтверждение верификации личности через системный API.

Необходимо подчеркнуть значимую подробность: в случае, если кто-либо получит доступ к вашему телефону физически (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество компании внедряют защиту от неосознанного разблокирования — к примеру, требуют разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют категории определения лиц на изображениях?

На сегодняшний день можно выделить определить три ключевых подхода к выполнению этой функции:

Программируемое двухмерное определение

Используется только лицевая видеокамера без экстра детекторов дистанции. Такой метод наблюдается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: простота реализации; минимальная стоимость; оперативная функционирование при хорошем свете.
Минусы: просто ввести в заблуждение снимком; нестабильная деятельность ночью; недостаточная безопасность.

Аппаратное объёмное сканирование

Использует ИК видеокамеру + проекционный модуль пикселей + датчики глубины (Face ID у Apple; подобные технологии у Huawei Mate).
Преимущества: значительная надежность; невозможно исказить фото/видео; устойчивая деятельность при любом освещении.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные способы с ИИ-дополнением

Используют комбинацию софтверных методов + аппаратную обработку + последующую обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие продукты, например Vulkan Platinum и Google Pixel Face Unlock современных версий, сочетают фронтальную камеру c ИК сенсором движения Soli Radar для предотвращения от фальсификаций жестами/масками/видеодисплеями посторонних устройств.

Примеры эксплуатации разных способов

iPhone линейки X/11/12/13/14 задействуют только техническое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition впервые внедрил подобие Face ID среди Android.
Samsung Galaxy S10 модель/S20 имеют как программное обеспечение 2D определение по снимку фронталкой, так и сенсор радужки глаза.
Huawei Mate20 Pro задействует комплекс из ИК-освещения + Dot Projector + ToF-сенсорный элемент

Проблемы защиты и неверные сигналы

Несмотря на замечательный прогресс техники за недавние годы, идеальных систем пока не имеется:

Возможность подвоха: Бюджетные смартфоны легко “разблокируются” высококачественной фотографией пользователя либо роликом с дисплея иного гаджета.
Идентичные близнецы: Даже самые безупречные системы могут спутать между однояйцевыми близнецами либо семьями с очень похожей внешностью.
Метаморфозы внешнего вида: Стремительное утрата веса/набор веса, косметические процедуры либо травмы в некоторых случаях требуют перерегистрации биометрии.
Условия съёмки: Яркая засветка солнечным светом или же интенсивная тень могут уменьшить точность распознавания признаков.

Ниже некоторые подсказок по надёжному использованию:

Для значимых операций всегда применяйте двухэтапную аутентификацию;
Не включайте функцию “Разблокировка по лицу” на бюджетных аппаратах без ИК-сенсоров;
Регулярно обновляйте прошивку программное обеспечение телефона для обеспечения безопасности от новых видов атак;
Включайте опцию “Требовать раскрытых глаз” там, где она есть.

В каких областях также используется технологии кроме смартфонов?

Хотя предмет данной статьи касается конкретно портативным гаджетам, необходимо сказать о альтернативных областях использования технологии:

Контроль доступа в деловых центрах и многоквартирных зданиях;
Платёжные устройства банков (“Face Pay”);
Виртуальные паспорта современного поколения;
Системы видеоконтроля муниципальных служб;
Механизация регистрации присутствия образовательных учреждений/институтов;
Вход юзеров компьютеров/ноутбуков.

Например: В московском метро уже тестируется система оплаты проезда по фейсу (“Face Pay”) — нужно лишь пройти через турникет без карты или мобильника! Похожие инициативы реализуются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Как меняется технология в нынешнее время?

Всякий годочек проявляются новые мысли для повышения уровня функционирования систем идентификации лиц:

Увеличивается чёткость датчиков — чем больше информации фиксируется фотоаппаратом/глубинными сенсорами, тем меньше вероятность ошибки;
Развиваются нейросети — новейшие конструкции типа MobileNetV3 обеспечивают возможность быстро адаптироваться к новым особенностям внешности пользователя непосредственно на девайсе без пересылки информации в облачное хранилище.
Развиваются технологии антиспуфинга — теперь телефоны способны различать реальные анимированные лица от неподвижных фото/маскировок по мельчайшим микродвижениям.
Интеграция со умными устройствами — умные часы могут самостоятельно закрыть доступ к смартфон, если обладатель удалился на значительное расстояние.
Проявляются гибридные системы — в частности объединяющие голосовую идентификацию + физиономию + отпечаток пальца.

Итак, те тенденции особенно актуальны в данный момент:

1) Миниатюризация деталей

Производители стараются сократить размер отверстия (“чёлки”) для сенсоры на дисплее за счёт интеграции маленьких ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на устройстве

Для улучшения приватности всё больше расчётов происходит на месте без пересылки данных во внешний облачный услугу.

3) Упорядочивание норм

Google активно продвигает стандарт BiometricPrompt API, с целью чтобы аналогичные площадки, например как Вулкан Платинум, и каждые Android-программы были совместимы с различными типами биометрии единообразно.

Что выбрать на сегодня?

Когда тебе нужна предельная сохранность данных, остановите выбор на передовые модели с вмонтированным ИК-проектором или ToF-сенсором глубины.

iPhone всех актуальных поколений
Huawei Mate/P серии
Mi Expert
Vivo X серии
Oppo Обнаружить Х линейки.

Если бюджет невелик – лучше предпочесть обычным способам защиты (PIN-код/сканер отпечатка), а возможность “разблокировка по лицу”, такую как в Вулкан Платинум, задействовать только как второстепенную опцию комфорта.

Каким способом повысить удобство функционирования возможности?

Есть несколько хитростей для людей, кто уже пользуется разблокировку по лицу:

Часто меняйте свою фото-шаблон, если сильно меняется облик.
Не пренебрегайте протирать линзу фронтальной камеры – разводы могут снизить четкость!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – в результате телефон сам активирует фотоаппарат если вы поднимаете его.
При регистрационного процесса пытайтесь удерживать лицевую часть ровно впереди объектива исключая резкого наклона головы.
Используйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует смартфон, если вы отвернулись от экрана.

Перспективы эволюции инноваций

В ближайшие периоды можно предвкушать возникновения полностью дистанционных способов распознавания человека сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + голос + манера ходьбы + движения рук!

Также вероятно появление современных подходов обеспечения приватности – например, изменяющееся изменение цифрового паттерна после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – единственная из очень захватывающих технологий нашего периода! Она предоставляет интеракцию со смартфоном удобнее чем когда-либо прежде, и такие программы, как Вулкан Казино Платинум, могут существенно улучшить ваш юзерский опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы знаете, как устроена эта методика изнутри, – будете в состоянии осознаннее подбирать свой будущий гаджет!