Как работает определение лиц в телефонах

Зачем мы останавливаемся на разблокирование по фейсу

В недавние годы определение лиц превратилось в одной из самых распространённых возможностей для разблокировки смартфонов. Лишь несколько годков тому назад большинство использующих довольствовались PIN-кодами, паролями или датчиками отпечатков пальцев. Но при появлением подобных технологий, как вулкан россия, нам достаточно лишь взглянуть на экран — и устройство тут же опознает своего владельца.

Какая вещь превращает данную функцию очень нужной? Прежде всего, это практично: не нужно запоминать сложные пароли или находить правильный палец в мраке. Также, это оперативно: современные алгоритмы распознают лицо фактически за мгновения ока. В-третью очередь, это чувство футуристичности — как будто в кинолентах про казино вулкан агентов.

Впрочем за такой на первый взгляд несложностью прячется полный универсум трудных методов и инженерных разработок. Позвольте нам понять, как конкретно функционирует фейсканирование в современных мобильных телефонах, какие бывают методы, насколько они безопасны и что нас ждёт впереди.

Короткая история эволюции инноваций

Идентификация лиц как технология существует уже более пятидесяти годов. Изначальные эксперименты автоматического анализа лица были предприняты еще в 1960-х годы в исследовательских центрах США. Тогда компьютеры способны были лишь выделять очертания лица и определять расстояния между зрачками и устами на ахроматических фотографиях.

Первые коммерческие установки появились в девяностых годах, но они были неидеальны: работали медленно и часто давали сбои. Только с эволюцией синтетических сетей и таких систем, как вулкан россии, сильных мобильных чипов распознавание лиц стало по-настоящему массовым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным идентификацией лица. За ним пошли Android-производители: Samsung, Huawei, Xiaomi и другие начали интегрировать свои решения.

Ключевые стадии работы устройства идентификации

Процесс определения лица можно ориентировочно сегментировать на несколько основных этапов:

  1. Идентификация лиц — устройство определяет наличие гуманного лица в кадре.
  2. Выделение особенностей — алгоритм изучает черты физиономии: форму глаз, носа, уст, позицию надбровных дуг.
  3. Построение структуры — создаётся особенный виртуальный отпечаток (faceprint) на основе выделенных признаков.
  4. Сравнение со стандартом — созданный модель сверяется со сохранённой при внесении биометрической данными владельца.
  5. Принятие выбора — если соответствие достаточно значительное, смартфон деблокируется.

Всякий из указанных шагов запрашивает особых алгоритмов и оптимизаций для скорой работы непосредственно на девайсе.

Технические элементы: что прячется внутри

Обычная селфи камера.

Самый легкий способ определения облика задействует только фронтальную камеру мобильного устройства. Подобный способ реализован во многих бюджетных моделях Android-девайсов.

Положительные стороны:

  • Необходимо требует дополнительные датчиков.
  • Оперативно работает при достаточном освещении.

Слабые стороны:

  • Просто одурачить изображением или роликом.
  • Плохо функционирует при слабом освещённости или непривычных ракурсах.

Инфракрасная фотокамера и пунктирный проектор

Более продвинутые системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс лежит в основе Face ID от Apple.

Каким образом это действует:

  • Точечный устройство проекции показывает на лицо пользователя невидимую сетку из тысяч инфракрасных меток (например, Face ID задействует около 30 000 меток).
  • Инфракрасная камера регистрирует искривление этой решетки по поверхности физиономии.
  • Получается трёхмерная карта глубины глубины, что почти что неосуществима для имитации стандартной фотографией или маской.

Преимущества

  • Надёжная работа даже в полной темноте.
  • Высокая сопротивляемость к фальсификациям.
  • Точность определения свыше 99%.

Дополнительные сенсорные устройства

В определённых девайсах задействуются также экстра сенсорные устройства: ToF (Time-of-Flight), которые фиксируют период движения света до цели и обратно; Цветные-датчики дальности; специальные оптические дальномеры для создания более точной 3D-модели физиономии.

Эти разработки используются чаще всего во флагманских устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: синтетический ум на действии

Текущие системы опознания лиц неосуществимы при отсутствии применения ИИ и машинного обучения. Именно из-за таким инновациям, как вулкан россии, аппарат в состоянии распознавать владельца даже при трансформациях внешности: новая укладка, растительность на лице, оптика или грим не становятся препятствием для разблокировки.

Распознавание лиц

При стартовом стадии алгоритм должна оперативно распознать ликовое изображение внутри всего кадра с камеры. Для этой задачи задействуются многоуровневые классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые “обучены” находить человеческие лица среди множества других объектов.

Пример: метод MTCNN в состоянии находить лицо даже в случае неполном перекрытии (например, платком или рукой).

Определение основных точек

После идентификации лица механизм, такая как вулкан россии, вычисляет расположение основных точек: края глаз, кончик носа, границы губ и так далее. Часто используется от 68 до 128 основных точек на лицевой поверхности.

Это действие нужно для выравнивания картинки: если юзер держит смартфон под наклоненным, или склонил голову, программа исправляет изображение до стандартного положения для последующего изучения.

Создание биометрического модели

Далее нейронная сеть строит уплотненное числовое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ лица длиной от 128 до 512 флоатов.

Этот образец весьма трудно сфальсифицировать: он не хранит непосредственно изображение юзера, а лишь уникальные особенности его облика, что делает его идеальным для таких систем, как vulkan russia.

Сравнение и вынесение выбора

Когда человек желает разблокировать телефон взором, программа воспроизводит все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает заданный границу (обычно выше 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ запрещается.

Приспособление к метаморфозам внешности

Увлекательная черта актуальных систем — возможность самообучения. Если вы постоянно открываете мобильное устройство с новой укладкой или оптикой, алгоритм постепенно модернизирует базовый шаблон вашего внешности для увеличения точности действия без снижения уровня безопасности.

Защита биометрии данных.

Многие клиенты боятся сохранять свои биометрические данные на мобильном устройстве из-за вероятности потери данных или хакерской атаки. Определенные фирмы, такие как vulkan russia, предлагают решения для повышения безопасности данных юзеров.

  • Локальное сбережение: Большинство девайсов сохраняет биометрические модели исключительно внутрь защищённого процессора Secure Enclave (Apple) или TrustZone (Android). Они всегда не оставляют аппарат и недоступны даже изготовителю.

  • Шифрование: Все данные сохраняются только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.

  • Изоляция приложений: Приложения сторонних разработчиков не имеют прямого доступа к биометрическим данным; они могут лишь требовать подтверждение верификации личности через системный API.

Необходимо упомянуть существенную особенность: если кто-то достанет доступ к вашему телефону физически (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество производители внедряют меры безопасности от “слепого” разблокирования — к примеру, заставляют раскрыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют виды определения лиц на изображениях?

На сегодняшний день можно определить различить три ключевых подхода к осуществлению этой задачи:

Софтверное 2D распознавание

Применяется только фронтальная видеокамера без экстра детекторов глубины. Подобный способ встречается наиболее часто в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: несложность реализации; умеренная стоимость; быстрая работа при достаточном освещении.
Минусы: просто обмануть снимком; нестабильная деятельность ночью; низкая безопасность.

Оборудование для трёхмерное оцифровка

Задействует ИК камеру + проектор пикселей + датчики дистанции (Face ID у Apple; аналогичные технологии у Huawei Mate).
Достоинства: высокая надежность; невозможно подделать изображение/видеозапись; стабильная работа в любых условиях освещения.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Гибридные методы с дополнением ИИ

Применяют комбинацию софтверных методов + аппаратную обработку + последующую обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие изделия, например вулкан россии и Google Pixel Face Unlock новейших версий, комбинируют фронталку c инфракрасным датчиком мобильности Soli Radar для предотвращения от подделок жестами/масками/видеодисплеями чужих устройств.

Иллюстрации эксплуатации разных техник

  • iPhone линейки X/11/12/13/14 задействуют только техническое трёхмерное сканирование в 3D
  • Xiaomi Mi8 Explorer Edition в первый раз предложил эквивалент Face ID в числе Android.
  • Samsung Galaxy S10 версия/S20 поддерживают как софтверное двухмерное идентификацию по изображению фронтальной камерой, так и сенсор ириса глаза.
  • Huawei Mate20 Pro применяет систему из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Вопросы защиты и ошибочные срабатывания

Несмотря на поразительный успехи инноваций за последние лет, безупречных систем пока не наблюдается:

  1. Возможность обмана: Недорогие мобильники просто “разблокируются” высококачественной фотографией владельца или роликом с экрана другого устройства.
  2. Идентичные близняшки: Даже самые идеальные устройства могут перепутать между монозиготными близнецами либо семьями с очень аналогичной внешностью.
  3. Метаморфозы внешности: Внезапное похудение/увеличение массы тела, пластические операции или травмы иногда требуют повторной регистрации биометрии.
  4. Условия фотографирования: Интенсивная засветка солнцем либо интенсивная затенение могут понизить точность идентификации признаков.

Ниже несколько рекомендаций по безопасному применению:

  • Для значимых операций всегда применяйте двухэтапную аутентификацию;
  • Не включайте функцию “Разблокировка по лицу” на дешёвых устройствах без ИК-сенсоров;
  • Регулярно обновляйте прошивку ПО телефона для обеспечения безопасности от новых видов атак;
  • Включайте опцию “Требовать раскрытых глаз” везде, где она доступна.

Где также применяется технология помимо мобильных телефонов?

Несмотря на то, что предмет данной работы сосредоточена на в частности портативным гаджетам, стоит упомянуть о прочих направлениях внедрения технологии:

  • Управление прохода в рабочих помещениях и жилых домах;
  • Платёжные аппараты финансовых учреждений (“Face Pay”);
  • Цифровые паспорта современного образца;
  • Установки видеонаблюдения городских сервисов;
  • Автоматизация регистрации присутствия образовательных учреждений/институтов;
  • Авторизация участников персональных компьютеров/ноутбуков.

Например: В московском метро уже проверяется система платежа проезда по фейсу (“Face Pay”) — хватит пройти через барьер без пластика или мобильника! Аналогичные программы реализуются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким способом изменяется технический процесс в нынешнее время?

Всякий годик возникают свежие идеи для усовершенствования качества работы систем лицевого распознавания:

  1. Увеличивается детализация сенсорных устройств — чем больше элементов фиксируется камерой/глубинными сенсорами, тем меньше шанс ошибки;
  2. Совершенствуются нейронные сети — современные структуры модели MobileNetV3 дают возможность быстро адаптироваться к новым чертам облика владельца прямо на устройстве без отправки данных в облако.
  3. Улучшаются технологии антиспуфинга — теперь телефоны могут распознавать настоящие живые облики от фиксированных фото/маскировок по незаметным микродвижениям.
  4. Взаимодействие со смарт-гаджетами — интеллектуальные часы могут авто закрыть доступ к мобильный телефон, если пользователь ушёл далеко.
  5. Проявляются комбинированные устройства — в частности совмещающие речевую аутентификацию + физиономию + отпечаток пальца.

Здесь, которые тренды в особенности актуальны в данный момент:

1) Уменьшение деталей

Изготовители стараются минимизировать габариты отверстия (“чёлки”) для датчики на дисплее за счёт встраивания миниатюрных ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Переработка прямо на девайсе

Для повышения личной безопасности всё более вычислений выполняется локально без отправки данных во сторонний облачный услугу.

3) Унификация норм

Гугл активно продвигает норму BiometricPrompt API, для того чтобы подобные платформы, как вулкан россия, и любые Android-аппы были совместимы с различными типами биометрии унифицированно.

Какое подобрать на сегодня?

Если вам всем необходима предельная защита информации, выбирайте передовые аппараты с вмонтированным ИК-проектором или же ToF-сенсором глубины.

  • iPhone всех последних поколений
  • Huawei Mate/P линейки
  • Mi Professional
  • Vivo X линейки
  • Оппо Обнаружить X серий.

Если средства скромен – лучше предпочесть традиционным средствам защиты (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в вулкан россия, применять только как дополнительную опцию удобства.

Как улучшить практичность работы функции?

Есть некоторые лайфхаков для людей, кто уже пользуется разблокировку через лицо:

  1. Периодически меняйте свою фотографию-шаблон, если сильно трансформируется облик.
  2. Не пренебрегайте очищать объектив передней камеры – пятна могут снизить четкость!
  3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам активирует фотоаппарат если вы поднимаете его.
  4. При регистрационного процесса пытайтесь держать голову неподвижно перед камеры без сильного наклона головы.
  5. Применяйте функцию “Attention Aware” (“Реакция на внимание”) – она запирает мобильное устройство, если вы отвели взгляд от экрана.

Возможности развития техники

В скоро наступающие времена можно предполагать развития полностью бесконтактных способов распознавания человека сразу по нескольким биометрическим данным параметрам одновременно: лицо + речь + шаги + манипуляции руками!

Также предполагается появление современных методов защиты приватности – например, изменяющееся изменение электронного паттерна после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее интересных инноваций нашего времени! Она обеспечивает интеракцию со мобильным устройством комфортнее чем раньше, и такие программы, как vulkan russia, могут в разы оптимизировать ваш опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы осведомлены, как работает эта система в деталях, – будете в состоянии более осмысленно определять свой очередной гаджет!