Как функционирует определение лиц в смартфонах

Зачем мы останавливаемся на разблокировку по лицевому распознаванию

В последние годы определение лиц является одной из самых распространённых опций для разблокировки смартфонов. Лишь пару годков тому назад большинство пользователей обходились PIN-кодами, ключами доступа или датчиками отпечатков пальцев. Но при появлением таких технологий, как admiral x, нам вполне просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Какой аспект делает данную возможность настолько популярной? Прежде всего, это комфортно: не нужно удерживать в памяти замысловатые пароли или искать правильный палец в мраке. Во-вторых, это оперативно: современные алгоритмы узнают лицо практически за доли секунды. В-третьих, это чувство футуристичности — как будто в кинолентах про адмирал х казино разведчиков.

Однако за такой видимой простотой таится полный универсум комплексных технологий и инженерных разработок. Попробуем понять, как точно действует фейсканирование в новейших мобильных телефонах, какие существуют способы, насколько они защищены и что нас ожидает в будущем.

Короткая повествование развития техники

Идентификация лиц как техника имеется уже более 50 годов. Изначальные эксперименты автоматического изучения лица были сделаны еще в 1960-х годы в исследовательских центрах США. Тогда ЭВМ могли лишь определять очертания черепа и вычислять промежутки между зрачками и губами на ахроматических фотографиях.

Начальные коммерческие установки появились в 90-х, но они были далеки от совершенства: функционировали медленно и нередко ошибались. Только с прогрессом синтетических сетей и таких систем, как адмирал х, высокопроизводительных мобильных процессоров идентификация лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый популярный смартфон с надёжным трёхмерным сканированием лица. За этим пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали интегрировать свои решения.

Главные стадии работы системы определения

Процесс распознавания лица можно условно поделить на несколько важных этапов:

Идентификация лица — аппарат распознает существование людского лица в изображении.
Выделение характеристик — система исследует черты лица: форму зрительных органов, носа, губ, позицию бровей.
Построение шаблона — создаётся уникальный виртуальный отпечаток (faceprint) на основе выделенных признаков.
Сравнение со образцом — сформированный модель сравнивается с записанной при регистрации биометрической информацией владельца.
Принятие выбора — если совпадение достаточно высокое, смартфон деблокируется.

Любой из данных стадий нуждается в особых алгоритмов и усовершенствований для быстрой работы непосредственно на девайсе.

Технические компоненты: что скрыто внутри

Обычная селфи камера.

Самый простой способ идентификации физиономии задействует лишь переднюю камеру смартфона смартфона. Такой подход реализован во многочисленных недорогих моделях Android-девайсов.

Достоинства:

Не нуждается в требует внешних сенсоров.
Шустро работает при хорошем освещённости.

Отрицательные стороны:

Легко обмануть изображением или видеозаписью.
Неудачно работает при плохом свете или непривычных углах обзора.

ИК камера и пунктирный проектор

Более усовершенствованные системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта техпроцесс лежит в основе Face ID от Apple.

Каким образом это функционирует:

Точечный устройство проекции проецирует на лицо пользователя невидимую решетку из тысяч инфракрасных точек (например, Face ID применяет около 30 000 меток).
ИК камера фиксирует изменение формы этой решетки по плоскости лица.
Создаётся трехмерная глубинная карта глубины, которая практически невозможна для имитации обычной фотографией или маскировкой.

Выигрыши

Надёжная функционирование даже в полной темноте.
Большая сопротивляемость к фальсификациям.
Точность распознавания более 99%.

Дополнительные сенсоры

В некоторых аппаратах применяются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые фиксируют период распространения луча до объекта и обратно; Цветные-датчики глубины; специальные световые лидары для построения более детализированной 3D-модели лица.

Эти технологии используются чаще всего во флагманских моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные алгоритмы: искуственный ум на действии

Нынешние системы распознавания лиц немыслимы без эксплуатации artificial intelligence и machine learning. Именно вследствие таким технологиям, как адмирал х, устройство способно распознавать владельца даже при трансформациях внешнего вида: новая стрижка, борода, очки или макияж не становятся барьером для разблокировки.

Распознавание физиономии

На начальном стадии программа обязана мгновенно распознать ликовое изображение среди всего снимка камеры. Для данной цели применяются каскадные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые подготовлены распознавать лица людей среди множества других объектов.

Пример: алгоритм MTCNN в состоянии находить лицо даже при частичном перекрытии (например, шарфом или ладонью).

Выделение важных аспектов

После идентификации лица механизм, такая как адмирал х, устанавливает расположение главных точек: уголки глаз, кончик носа, края губ и так далее. Обычно задействуется от 68 до 128 главных точек на лицевой поверхности.

Это нужно для выравнивания изображения: если юзер удерживает смартфон под углом, или повернул головку, программа “выпрямляет” изображение до обычного угла для дальнейшего анализа.

Создание биометрического шаблона

Далее нейросеть строит компактное цифровое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой след лица длиной от 128 до 512 флоатов.

Этот шаблон весьма трудно подделать: он не удерживает непосредственно фото пользователя, а лишь уникальные характеристики его вида, что делает его совершенным для таких систем, как admiral-x.

Сравнительный анализ и осуществление решения

Когда юзер хочет открыть мобильник глазами, система воспроизводит все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает определённый уровень (обычно превышает 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ запрещается.

Привыкание к изменениям внешности

Интересная особенность актуальных системы — способность самостоятельного обучения. Если вы часто разблокируете мобильное устройство с свежей прической или оптикой, программа постепенно модернизирует эталонный шаблон вашего лица для увеличения точности действия без ухудшения безопасности.

Защита биометрии информации.

Большинство юзеры опасаются хранить свои биометрические данные на смартфоне из-за угрозы утечки информации или хакерской атаки. Некоторые организации, например admiral-x, предлагают методы для улучшения защиты данных юзеров.

Локальное сохранение: Основная часть аппаратов хранит био-идентификационные образцы только внутрь безопасного микросхемы Secure Enclave (Apple) или TrustZone (Android). Эти данные ни разу не не покидают устройство и не доступны в том числе производителю.
Шифрование: Все информация хранятся только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция приложений: Программы сторонних девелоперов не имеют непосредственного возможности доступа к биометрическим данным; они могут лишь требовать факт подтверждения личности через системный API.

Следует упомянуть значимую особенность: если кто-то сможет получить доступ к вашему телефону физически (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество компании реализуют защиту от неосознанного разблокирования — в частности, просят открыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие именно бывают категории определения лиц на изображениях?

На сегодняшний день можно различить три ключевых метода к осуществлению этой задачи:

Программное плоское идентификация

Эксплуатируется только фронтальная камера без вспомогательных сенсоров дистанции. Подобный подход встречается наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность воплощения; умеренная стоимость; быстрая деятельность при качественном свете.
Минусы: несложно ввести в заблуждение снимком; ненадежная деятельность ночью; недостаточная безопасность.

Аппаратное объёмное сканирование

Использует инфракрасную видеокамеру + проектор пикселей + датчики дистанции (Face ID от Apple; аналогичные решения у Huawei Mate).
Достоинства: большая достоверность; не получится исказить фото/видео; постоянная функционирование при любом освещении.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные методы с дополнением ИИ

Задействуют комбинацию софтверных методов + техническую обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные товары, например адмирал х и Google Pixel Face Unlock последних версий, комбинируют фронтальную камеру c инфракрасным сенсором мобильности Soli Radar для предотвращения от подделок руками/масками/видеодисплеями чужих устройств.

Образцы использования разных техник

iPhone линейки X/11/12/13/14 используют только техническое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition первый раз внедрил эквивалент Face ID в ряду Android.
Samsung Galaxy S10 модель/S20 поддерживают как программное 2D распознавание по снимку фронтальной камерой, так и датчик глазного ириса.
Huawei Mate20 Pro использует систему из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Проблемы охраны и неверные срабатывания

Несмотря на поразительный развитие технологий за последние лет, безупречных систем пока не имеется:

Возможность обмана: Доступные телефоны просто “разблокируются” качественной фотографией хозяина или же видео с экрана другого устройства.
Идентичные близнецы: Даже самые идеальные механизмы могут перепутать между однояйцевыми близнецами либо семьями с очень аналогичной внешностью.
Изменения внешнего вида: Стремительное утрата веса/увеличение массы тела, хирургические вмешательства или повреждения в некоторых случаях требуют повторной регистрации биометрии.
Условия съёмки: Интенсивная освещённость солнцем либо глубокая затенение могут понизить аккуратность определения признаков.

Ниже несколько рекомендаций по надёжному применению:

Для критически важных операций всегда применяйте двухфакторную аутентификацию;
Не активируйте функцию “Разблокировка по лицу” на недорогих устройствах без ИК-сенсоров;
Постоянно обновляйте прошивку ПО телефона для обеспечения безопасности от актуальных атак;
Включайте настройку “Требовать открытых глаз” там, где она доступна.

В каких местах ещё находится применение технологии кроме мобильных телефонов?

Несмотря на то, что основная мысль этой работы посвящена в частности портативным гаджетам, следует отметить прочих направлениях внедрения технологии:

Мониторинг входа в офисах и многоквартирных зданиях;
Платёжные аппараты банков (“Face Pay”);
Электронные удостоверения личности современного поколения;
Системы видеоконтроля муниципальных сервисов;
Автоматизация учёта присутствия образовательных учреждений/институтов;
Авторизация участников ПК/ноутбуков.

Например: В городском метро уже тестируется система платежа проезда по фейсу (“Face Pay”) — хватит пройти через турникет без карты или телефона! Схожие программы развиваются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким способом меняется техпроцесс в нынешнее время?

Любой годочек появляются новые концепции для усовершенствования стандарта работы систем лицевого распознавания:

Увеличивается детализация сенсорных устройств — чем больше деталей фиксируется фотоаппаратом/глубинными сенсорами, тем меньше шанс ошибки;
Совершенствуются нейросети — передовые архитектуры модели MobileNetV3 позволяют скоростно адаптироваться к свежим характеристикам облика обладателя непосредственно на девайсе без пересылки информации в облачное хранилище.
Улучшаются способы антиспуфинга — теперь мобильные устройства способны распознавать настоящие живые лица от неподвижных фото/масок по незаметным движениям кожи.
Взаимодействие со интеллектуальными приборами — смарт-часы могут автоматически заблокировать смартфон, если пользователь ушёл далеко.
Возникают гибридные механизмы — например объединяющие аудио аутентификацию + облик + отпечаток пальца.

Здесь, которые тренды особенно актуальны на сегодняшний день:

1) Миниатюризация деталей

Изготовители стараются уменьшить размер прорези (“чёлки”) под датчики на дисплее за счёт внедрения миниатюрных ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Обработывание прямо на устройстве

Для повышения личной безопасности всё больше обработки данных происходит внутри устройства без передачи информации во внешний облачный услугу.

3) Упорядочивание регламентов

Google интенсивно продвигает эталон BiometricPrompt API, чтобы такие платформы, вроде admiral x, и любые Android-аппы могли взаимодействовать с всеми формами биометрии унифицированно.

Что выбрать сегодня?

В случае если вам всем нужна предельная сохранность данных, выбирайте топовые аппараты со встроенным ИК-проектором либо ToF-сенсором глубины.

iPhone всех новейших версий
Huawei Mate/P Series линейки
Mi Professional
Vivo X линейки
Oppo Find Х серии.

Если средства невелик – лучше предпочесть традиционным средствам безопасности (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в admiral x, использовать только как дополнительную возможность комфорта.

Каким способом повысить практичность функционирования функции?

Есть некоторые хитростей для пользователей, кто уже использует разблокировку по лицу:

Часто меняйте свою фотографию-шаблон, если значительно меняется внешний вид.
Не упускайте из виду очищать объектив передней камеры – загрязнения могут понизить четкость!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего смартфон сам запускает фотоаппарат когда вы поднимаете его.
При регистрационного процесса пытайтесь удерживать лицевую часть неподвижно напротив видеоустройства исключая сильного наклона головы.
Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает телефон, если вы отвернулись от экрана.

Перспективы развития техники

В ближайшие времена можно предвкушать появления полностью безконтактных способов опознания персоны сразу по нескольким биометрическим данным параметрам одновременно: лицо + речь + походка + жесты рук!

Также вероятно возникновение новых способов охраны приватности – например, изменяющееся изменение цифрового шаблона после каждой удачной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – единственная из наиболее интересных техник нашего эпохи! Она предоставляет общение со телефоном удобнее чем до этого, и такие приложения, как admiral-x, могут значительно повысить ваш пользовательский опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы понимаете, как функционирует эта технология внутри, – будете в состоянии более осмысленно подбирать свой будущий гаджет!