Каким образом работает идентификация лиц в мобильных устройствах

Зачем мы останавливаемся на разблокирование по лицевому распознаванию

В прошлые времена идентификация лиц является одной из самых распространённых возможностей для деблокировки смартфонов. Еще несколько лет назад основная часть пользователей довольствовались PIN-кодами, секретными кодами или датчиками отпечатков пальцев. Но с появлением подобных технологий, например admiral x, нам вполне просто взглянуть на экран — и устройство тут же опознает своего владельца.

Какая вещь превращает эту конкретную особенность очень нужной? Во-первых, это удобно: не нужно запоминать сложные пароли или находить верный палец в темноте. Кроме того, это оперативно: современные алгоритмы узнают лицо буквально за доли секунды. В-третьих, это впечатление будущего — как будто в кинолентах про адмирал x агентов.

Тем не менее за данной на первый взгляд легкостью скрывается весь универсум комплексных технологий и инженерных разработок. Попробуем разобраться, как точно действует фейсканирование в современных мобильных телефонах, какие применяются технологии, насколько они защищены и что нас ожидает в будущем.

Сжатая хроника прогресса инноваций

Распознавание лиц как технология имеется уже более пятидесяти годов. Первые попытки машинного анализа лица были осуществлены еще в 1960-х годы в научных учреждениях США. Тогда ЭВМ умели лишь определять очертания черепа и вычислять расстояния между очами и губами на черно-белых снимках.

Изначальные торговые установки стали доступны в 1990-х годах, но они были несовершенны: функционировали медленно и часто давали сбои. Только с прогрессом нейронных сетей и таких платформ, как адмирал х, сильных мобильных чипов определение лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый массовый смартфон с надёжным трёхмерным сканированием лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие начали внедрять собственные разработки.

Ключевые этапы функционирования системы идентификации

Процесс идентификации лица можно условно поделить на несколько важных этапов:

1. Обнаружение лиц — камера распознает присутствие людского образа в снимке.
2. Выделение особенностей — алгоритм исследует особенности облика: очертания зрительных органов, обонятельного органа, губ, позицию бровей.
3. Построение модели — создаётся неповторимый электронный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение с стандартом — созданный образец сравнивается с зафиксированной при учёте биометрической информацией владельца.
5. Принятие определения — если сходство достаточно значительное, смартфон разблокируется.

Каждый из указанных этапов нуждается в индивидуальных процедур и усовершенствований для скорой работы непосредственно на девайсе.

Технические составляющие: что находится в их недрах

Обычная фронтальная камера.

Самый легкий способ распознавания физиономии использует исключительно лицевую видеокамеру смартфона. Такой подход реализован во многих доступных версиях Android-девайсов.

Достоинства:

• Необходимо требует дополнительных датчиков.
• Шустро функционирует при достаточном освещённости.

Отрицательные стороны:

• Легко одурачить изображением или видео.
• Плохо действует при низком свете или необычных ракурсах.

ИК камера и точечный проекционный аппарат

Более продвинутые системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология составляет базу Face ID от Apple.

Каким образом это действует:

• Точечный проекционный прибор показывает на лицо пользователя невидимую сетку из тысяч инфракрасных точек (например, Face ID применяет около 30 000 пятен).
• ИК камера регистрирует деформацию этой сетки по поверхности лица.
• Получается трёхмерная глубинная карта глубинности, которая почти неподвластна для имитации стандартной фотографией или маской.

Выигрыши

• Надёжная работа даже в полной тьме.
• Большая сопротивляемость к фальсификациям.
• Точность определения свыше 99%.

Дополнительные сенсоры

В определённых девайсах задействуются также дополнительные сенсоры: ToF (Time-of-Flight), которые фиксируют время прохождения света до объекта и обратно; Трехцветные-датчики дальности; специальные оптические дальномеры для создания более детализированной 3D-модели лица.

Эти инновации используются чаще всего во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: синтетический разум на исполнении

Нынешние устройства опознания лиц немыслимы в отсутствие эксплуатации искусственного интеллекта и machine learning. Именно благодаря таким разработкам, как адмирал х, устройство в состоянии узнавать пользователя даже при изменениях внешности: новая стрижка, растительность на лице, очки или макияж не становятся препятствием для деблокировки.

Распознавание лица

На стартовом этапе система обязана мгновенно найти ликовое изображение среди всего кадра камеры. Для этого используются каскадные классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые “обучены” распознавать человеческие лица среди множества других объектов.

Пример: метод MTCNN в состоянии находить лицо даже в случае частичном перекрытии (например, шарфом или рукой).

Выделение основных моментов

После распознавания лица механизм, такая как адмирал х, устанавливает местоположение главных точек: уголки глаз, верхушка носа, края губ и так далее. Как правило применяется от 68 до 128 ключевых маркеров на лицевой области.

Данное необходимо для выравнивания визуала: если человек находится с мобильник под углом, или склонил голову, программа “выпрямляет” изображение до стандартного положения для последующего изучения.

Формирование биометрического идентификатора модели

Далее нейронная сеть строит компактное числовое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой след лица длиной от 128 до 512 вещественных чисел.

Этот образец очень трудно подделать: он не сохраняет само картинку юзера, а лишь особенные характеристики его вида, что делает его идеальным для таких платформ, как admiral-x.

Сравнительный анализ и вынесение решения

Когда пользователь желает разблокировать телефон взором, механизм воспроизводит все указанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает определённый уровень (обычно выше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ не предоставляется.

Привыкание к изменениям внешнего вида

Увлекательная характеристика нынешних систем — возможность самообучения. Если ты регулярно открываете мобильное устройство с свежей прической или оптикой, алгоритм постепенно модернизирует основной образец вашего лица для увеличения точности действия без ухудшения безопасности.

Охрана биометрических информации.

Множество клиенты боятся сохранять свои био-идентификационные данные на смартфоне из-за вероятности утечки информации или взлома устройства. Некоторые компании, вроде admiral-x, предоставляют методы для увеличения сохранности данных юзеров.

• Локальное сохранение: Большинство устройств записывает биометрические образцы исключительно в пределах защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Они никогда не выходят из устройство и недоступны включая создателю.

• Шифрование: Все информация сберегаются только в шифрованном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция приложений: Приложения третьих девелоперов не имеют прямого доступа к биометрическим данным; они могут лишь запрашивать факт подтверждения личности через системный API.

Необходимо упомянуть важную особенность: если какой-то человек сможет получить доступ к вашему телефону физически (к примеру, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие производители реализуют защиту от неосознанного разблокирования — например, заставляют разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие имеются типы идентификации лиц?

В настоящее время можно выделить выделить три основных подхода к реализации этой операции:

Софтверное 2D распознавание

Эксплуатируется только фронтальная камера без дополнительных датчиков глубины. Этот способ наблюдается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота воплощения; умеренная затраты; быстрая функционирование при качественном освещении.
Минусы: просто одурачить фотографией; неустойчивая работа ночью; слабая безопасность.

Оборудование для объёмное оцифровка

Использует ИК камеру + проектор пикселей + сенсоры дистанции (Face ID от Apple; аналогичные технологии у Huawei Mate).
Плюсы: значительная достоверность; не получится подделать фото/видео; постоянная деятельность в любых условиях освещения.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные подходы с дополнением ИИ

Задействуют комбинацию программируемых методов + техническую обработку + последующую обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, как адмирал х и Google Pixel Face Unlock последних поколений, сочетают фронтальную камеру c ИК датчиком мобильности Soli Radar для защиты от подделок жестами/масками/видеодисплеями чужих устройств.

Иллюстрации использования разных методов

• iPhone модели X/11/12/13/14 применяют только аппаратное трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition впервые внедрил аналог Face ID в ряду Android.
• Samsung Galaxy S10 модель/S20 имеют как программное обеспечение плоское распознавание по изображению селфи-камерой, так и сенсор глазного ириса.
• Huawei Mate20 Pro использует систему из ИК-инфракрасного света + Dot Projector + ToF-датчик

Проблемы защиты и ложные сигналы

Несмотря на впечатляющий развитие техники за прошедшие лет, идеальных систем пока не имеется:

1. Возможность обмана: Бюджетные смартфоны просто доступны четкой фотографией пользователя или роликом с экрана другого устройства.
2. Идентичные близняшки: Даже самые идеальные устройства могут ошибиться между монозиготными близнецами либо семьями с очень аналогичной внешностью.
3. Метаморфозы внешности: Резкое снижение веса/увеличение массы тела, косметические процедуры либо повреждения иногда требуют обновления данных биометрических данных.
4. Условия съёмки: Интенсивная подсветка солнечным светом либо интенсивная темнота могут понизить аккуратность распознавания признаков.

Ниже пара советов по защищённому эксплуатации:

• Для важных операций всегда используйте дополнительную аутентификацию;
• Не активируйте возможность “Разблокировка по лицу” на бюджетных моделях без ИК-сенсоров;
• Систематически обновляйте прошивку программное обеспечение телефона для предотвращения угроз от современных угроз;
• Включайте функцию “Требовать открытых глаз” везде, где она имеется.

Где также находится применение технология за исключением смартфонов?

Хотя предмет этой публикации посвящена именно мобильным устройствам, стоит упомянуть о альтернативных областях использования технологии:

• Управление доступа в офисах и резиденциях;
• Платёжные аппараты финансовых учреждений (“Face Pay”);
• Цифровые паспорта нового типа;
• Системы видеонаблюдения городских подразделений;
• Автоматизирование отслеживания присутствия образовательных учреждений/университетов;
• Авторизация пользователей персональных компьютеров/ноутбуков.

Например: В московском метро уже испытывается система платежа проезда по лицу (“Face Pay”) — хватит пройти через барьер без пластика или мобильника! Аналогичные программы реализуются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким образом меняется технический процесс сегодня?

Любой годочек появляются современные концепции для улучшения уровня функционирования систем идентификации лиц:

1. Увеличивается разрешение сенсоров — чем больше деталей фиксируется видеокамерой/датчиками глубины, тем меньше шанс ошибки;
2. Развиваются нейросети — передовые структуры типа MobileNetV3 позволяют скоростно адаптироваться к свежим характеристикам облика пользователя непосредственно на девайсе без отправки данных в облако.
3. Улучшаются способы антиспуфинга — теперь телефоны способны различать подлинные движущиеся лица от статичных фотографий/масок по микроскопическим движениям кожи.
4. Взаимодействие со умными устройствами — интеллектуальные часы могут авто блокировать мобильный телефон, если обладатель ушёл далеко.
5. Возникают комбинированные системы — например комбинирующие аудио опознание + облик + пальцевой отпечаток.

Вот, те направления очень востребованы на сегодняшний день:

1) Миниатюризация элементов

Производители намереваются сократить размер прорези (“чёлки”) под сенсоры на экране за счёт внедрения миниатюрных ИК-излучателей прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на девайсе

Для повышения конфиденциальности всё более расчётов осуществляется внутри устройства без пересылки информации во дополнительный облачный сервис.

3) Стандартизация стандартов

Google энергично пропагандирует норму BiometricPrompt API, с целью чтобы аналогичные площадки, как admiral x, и любые Android-приложения могли взаимодействовать с любыми видами биометрии единообразно.

Какое подобрать сегодня?

Когда вам важна предельная сохранность информации, выбирайте флагманские аппараты со встроенным ИК-проектором или же ToF-сенсором глубины.

• iPhone каждого новейших поколений
• Huawei Mate/P Series серии
• Mix Pro
• Vivo X серии
• Оппо Найти Икс серий.

Если финансы невелик – лучше отдавать предпочтение обычным методам безопасности (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в admiral x, применять только как опциональную опцию комфорта.

Каким образом улучшить удобство функционирования функции?

Есть пара советов для тех, кто уже пользуется разблокировку по лицу:

1. Периодически обновляйте свою фотографию-шаблон, если сильно трансформируется облик.
2. Не забывайте очищать линзу фронтальной камеры – разводы могут уменьшить точность!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего смартфон сам активирует камеру если вы берёте его в руки.
4. В процессе регистрации пытайтесь держать голову ровно впереди камеры без резкого наклона головы.
5. Используйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отвернулись от экрана.

Перспективы развития технологии

В ближайшие времена можно предполагать возникновения полностью безконтактных способов распознавания индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + звучание + шаги + манипуляции руками!

Также предполагается развитие свежих способов защиты конфиденциальности – скажем, динамическое корректировка цифрового шаблона после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из очень увлекательных техник нашего эпохи! Она делает общение со телефоном комфортнее чем до этого, и такие приложения, как admiral-x, могут значительно повысить ваш пользовательский опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы понимаете, как устроена эта технология изнутри, – сможете вдумчиво выбирать свой следующий девайс!