Как работает идентификация лицевых образов в смартфонах

Для чего мы останавливаемся на разлочивание по лицевому распознаванию

В последние времена распознавание лиц стало одной из самых популярных возможностей для открытия смартфонов. Всего некоторые годов ранее основная часть пользователей обходились PIN-кодами, ключами доступа или сканерами отпечатков пальцев. Но при появлением подобных технологий, например admiral x, нам достаточно лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Что обуславливает эту возможность такой востребованной? Для начала, это удобно: не нужно удерживать в памяти сложные пароли или находить нужный палец в тьме. Кроме того, это оперативно: современные программы распознают лицо фактически за мгновение. В-третьем пункте, это чувство футуризма — словно в кинолентах про адмирал х казино агентов.

Однако за данной на первый взгляд легкостью таится полный универсум сложных техник и инженерных разработок. Попробуем разобраться, как именно функционирует распознавание лиц в новейших мобильных телефонах, какие бывают технологии, насколько они безопасны и что нас предстоит.

Сжатая история эволюции технологии

Идентификация лиц как технология присутствует уже более пятидесяти годов. Первые пробы машинного анализа лица были предприняты еще в 1960-х годы в исследовательских центрах США. Тогда компьютеры способны были лишь выделять очертания черепа и вычислять промежутки между зрачками и губами на ахроматических фотографиях.

Начальные коммерческие платформы возникли в девяностых годах, но они были неидеальны: работали медленно и часто давали сбои. Только с эволюцией искусственных сетей и таких площадок, как адмирал х, сильных мобильных микросхем распознавание лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным распознаванием лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали интегрировать собственные разработки.

Ключевые шаги работы механизма определения

Процесс распознавания лица можно ориентировочно сегментировать на несколько важных этапов:

  1. Обнаружение лица — камера выявляет наличие людского образа в изображении.
  2. Определение характеристик — механизм исследует особенности физиономии: конфигурацию глаз, носа, губ, положение надбровных дуг.
  3. Построение структуры — создаётся неповторимый цифровой отпечаток (faceprint) на основе идентифицированных признаков.
  4. Сравнение с образцом — сформированный образец сравнивается с сохранённой при учёте биометрической данными владельца.
  5. Принятие выбора — если совпадение достаточно существенное, смартфон открывается.

Любой из данных шагов нуждается в специальных алгоритмов и оптимизаций для оперативной работы непосредственно на девайсе.

Аппаратные элементы: что скрыто внутри них

Стандартная фронтальная камера.

Наиболее легкий метод определения лица применяет лишь переднюю камеру смартфона. Такой подход реализован во различных недорогих моделях Android-устройств.

Положительные стороны:

  • Не нуждается в нуждается в дополнительные сенсоров.
  • Быстро функционирует при качественном свете.

Слабые стороны:

  • Несложно обмануть изображением или видеозаписью.
  • Неудачно функционирует при слабом освещении или необычных углах обзора.

Инфракрасная камера и точечный проекционный аппарат

Более совершенные системы, такие как адмирал х, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика лежит в основе Face ID от Apple.

Каким образом это функционирует:

  • Точечный проекционный прибор отображает на физиономию юзера невидимую структуру из тысяч инфракрасных точек (например, Face ID применяет около 30 000 меток).
  • Инфракрасная камера фиксирует изменение формы этой решетки по поверхности лица.
  • Получается 3D карта глубинности, что почти неподвластна для фальсификации стандартной снимком или маской.

Преимущества

  • Надёжная функционирование даже в полной неосвещённости.
  • Сильная сопротивляемость к подделкам.
  • Точность идентификации свыше 99%.

Дополнительные датчики

В отдельных устройствах используются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые фиксируют период прохождения света до предмета и обратно; Цветные-датчики дальности; специальные лазерные лидары для построения более детализированной 3D-модели лица.

Эти разработки используются чаще всего во передовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Программные методы: искусственный разум на действии

Современные устройства идентификации лиц неосуществимы в отсутствие эксплуатации ИИ и машинного обучения. Именно вследствие таким технологиям, как адмирал х, аппарат может идентифицировать пользователя даже при трансформациях внешнего вида: новая причёска, борода, оптика или макияж не становятся помехой для деблокировки.

Распознавание лиц

При начальном шаге система должна быстро обнаружить ликовое изображение среди полного снимка с камеры. Для этого задействуются последовательные классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые “обучены” идентифицировать человеческие лица среди множества других объектов.

Пример: алгоритм MTCNN в состоянии находить физиономию даже в случае частичном закрытии (например, платком или рукой).

Определение ключевых точек

После обнаружения лица устройство, такая как адмирал х, устанавливает положение основных точек: уголки глаз, верхушка носа, границы губ и так далее. Часто задействуется от 68 до 128 главных меток на лице.

Данное необходимо для стабилизации изображения: если человек удерживает мобильник под наклоненным, или наклонил головку, программа исправляет изображение до стандартного положения для последующего изучения.

Построение биометрического идентификатора модели

Далее нейронная сеть строит компактное цифровое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой образ лица длиной от 128 до 512 флоатов.

Этот образец крайне затруднительно сфальсифицировать: он не удерживает непосредственно фото пользователя, а лишь особенные особенности его облика, что делает его совершенным для таких площадок, как admiral-x.

Сопоставление и принятие заключения

В случае, когда человек намеревается разлочить телефон взором, программа воспроизводит все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает установленный порог (обычно больше 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ запрещается.

Приспособление к изменениям внешности

Занимательная особенность современных систем — возможность самообучения. Если вы постоянно открываете телефон с обновленной укладкой или очками, программа постепенно обновляет эталонный модель вашего внешности для улучшения точности функционирования без снижения уровня безопасности.

Охрана биометрических данных.

Множество клиенты опасаются сохранять свои био-идентификационные данные на смартфоне из-за вероятности потери данных или взлома устройства. Определенные организации, вроде admiral-x, предлагают методы для улучшения безопасности сведений юзеров.

  • Локальное сохранение: Большинство аппаратов сохраняет биометрические образцы лишь внутрь защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Они никогда не оставляют гаджет и недоступны в том числе создателю.

  • Шифрование: Все данные хранятся только в шифрованном виде с использованием новейших криптографических алгоритмов AES256.

  • Изоляция приложений: Приложения третьих девелоперов не имеют непосредственного возможности доступа к биометрическим данным; они могут лишь требовать факт верификации идентичности через системный API.

Следует упомянуть значимую деталь: в случае, если какой-то человек достанет доступ к вашему телефону физически (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие компании осуществляют меры безопасности от “слепого” разблокирования — в частности, требуют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие бывают виды распознавания лиц на изображениях?

На сегодняшний день можно выделить выделить 3 основных метода к реализации этой операции:

Программируемое плоское идентификация

Используется только передняя видеокамера без экстра детекторов дистанции. Этот метод наблюдается обычно в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность реализации; низкая цена; быстрая деятельность при хорошем свете.
Минусы: несложно ввести в заблуждение снимком; неустойчивая деятельность ночью; слабая охрана.

Техническое 3D сканирование

Задействует инфракрасную видеокамеру + проекционный модуль точек + датчики глубины (Face ID у Apple; подобные технологии у Huawei Mate).
Достоинства: большая надёжность; не получится исказить изображение/видеозапись; устойчивая функционирование при любом освещении.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные способы с ИИ-дополнением

Применяют комбинацию софтверных методов + аппаратную обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие изделия, например адмирал х и Google Pixel Face Unlock новейших поколений, сочетают фронтальную камеру c инфракрасным сенсором мобильности Soli Radar для защиты от фальсификаций руками/масками/видеоэкранами посторонних устройств.

Образцы применения разнообразных техник

  • iPhone модели X/11/12/13/14 задействуют только физическое трёхмерное 3D-сканирование
  • Xiaomi Mi8 Explorer Edition первый раз представил аналог Face ID в числе Android.
  • Samsung Galaxy S10 версия/S20 поддерживают как программное плоское идентификацию по фото фронтальной камерой, так и сканер ириса глаза.
  • Huawei Mate20 Pro применяет набор из ИК-освещения + Dot Projector + ToF-сенсор

Трудности защиты и ошибочные сигналы

Несмотря на впечатляющий прогресс инноваций за прошедшие годы, безупречных механизмов пока не наблюдается:

  1. Шанс обмана: Бюджетные мобильники без труда открываются качественной изображением владельца или роликом с экрана другого устройства.
  2. Идентичные близняшки: Даже самые безупречные устройства могут спутать между монозиготными близнецами либо родственниками с очень аналогичной внешностью.
  3. Трансформации внешности: Стремительное утрата веса/увеличение массы тела, хирургические вмешательства либо травмы иногда требуют повторной регистрации биометрии.
  4. Условия фотографирования: Сильная подсветка солнцем или интенсивная тень могут понизить верность распознавания признаков.

Здесь несколько подсказок по защищённому эксплуатации:

  • Для значимых операций всегда применяйте дополнительную аутентификацию;
  • Не активируйте возможность “Разблокировка по лицу” на дешёвых аппаратах без ИК-сенсоров;
  • Регулярно обновляйте прошивку ПО смартфона для защиты от современных угроз;
  • Включайте функцию “Требовать открытых глаз” там, где она имеется.

В каких областях также используется технологии кроме мобильных телефонов?

Несмотря на то, что тема данной публикации касается конкретно портативным гаджетам, следует отметить других сферах применения технологии:

  • Мониторинг прохода в деловых центрах и жилых домах;
  • Платёжные терминалы финансовых учреждений (“Face Pay”);
  • Цифровые удостоверения личности современного поколения;
  • Системы видеомониторинга городских подразделений;
  • Автоматизирование учёта присутствия школ/институтов;
  • Аутентификация пользователей компьютеров/ноутбуков.

Например: В московском метро уже проверяется система оплаты проезда по фейсу (“Face Pay”) — хватит пройти через барьер без карты или телефона! Аналогичные программы осуществляются в Китае (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким способом меняется техпроцесс сегодня?

Каждый годочек возникают свежие идеи для улучшения стандарта работы систем идентификации лиц:

  1. Увеличивается чёткость сенсоров — чем больше деталей фиксируется фотоаппаратом/датчиками глубины, тем меньше риск погрешности;
  2. Улучшаются нейронные сети — передовые конструкции вида MobileNetV3 позволяют оперативно осваивать дополнительным характеристикам вида обладателя непосредственно на девайсе без отправки данных в облако.
  3. Развиваются технологии антиспуфинга — теперь смартфоны могут различать подлинные анимированные облики от фиксированных фотографий/масок по микроскопическим микродвижениям.
  4. Взаимодействие со умными устройствами — умные часы могут автоматически блокировать мобильный телефон, если пользователь отошёл далеко.
  5. Появляются комбинированные устройства — к примеру совмещающие речевую опознание + облик + пальцевой отпечаток.

Здесь, которые направления очень актуальны на сегодняшний день:

1) Уменьшение элементов

Производители стараются минимизировать габариты выреза (“чёлки”) под датчики на экране за счёт встраивания маленьких ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработка прямо на девайсе

Для повышения приватности всё более расчётов осуществляется внутри устройства без пересылки информации во дополнительный облачный сервис.

3) Упорядочивание регламентов

Google энергично продвигает норму BiometricPrompt API, чтобы аналогичные системы, как admiral x, и каждые Android-приложения могли работать с всеми формами биометрии стандартизированно.

Какое решить на сегодня?

В случае если тебе нужна предельная безопасность данных, выбирайте флагманские устройства с вмонтированным ИК-излучателем или же ToF-сенсором глубины.

  • iPhone всех существующих новейших поколений
  • Huawei Partner/P ряда
  • Mi Pro
  • Vivo X линейки
  • Oppo Find X серии.

Если финансы невелик – лучше выбирать классическим средствам безопасности (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в admiral x, применять только как опциональную возможность комфорта.

Каким способом увеличить удобство использования функции?

Есть несколько хитростей для пользователей, кто уже использует функцию распознавания лица:

  1. Часто обновляйте свою фотографию-шаблон, если сильно трансформируется облик.
  2. Не забывайте очищать объектив фронтальной камеры – пятна могут понизить четкость!
  3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – в результате телефон сам активирует камеру когда вы берёте его в руки.
  4. При регистрации старайтесь держать лицевую часть неподвижно напротив камеры исключая резкого наклона головы.
  5. Применяйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отворачиваетесь от дисплея.

Перспективы эволюции техники

В предстоящие годы можно предполагать возникновения полностью бесконтактных способов опознания человека сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + голос + походка + жесты рук!

Также вероятно появление свежих методов защиты конфиденциальности – скажем, изменяющееся модификация диджитал паттерна после каждой результативной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – единственная из очень увлекательных инноваций нашего периода! Она делает взаимодействие со телефоном удобнее чем до этого, и такие аппы, как admiral-x, могут существенно повысить ваш опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы понимаете, как устроена эта методика внутри, – сможете вдумчиво определять свой будущий устройство!