Как функционирует распознавание лиц в телефонах

Зачем мы предпочитаем разблокировку по лицевому распознаванию

В недавние времена определение лиц превратилось в одной из самых популярных функций для деблокировки смартфонов. Всего пару годков тому назад большинство использующих довольствовались PIN-кодами, паролями или сканерами отпечатков пальцев. Но при появлением таких технологий, например вулкан россия, нам вполне просто взглянуть на экран — и устройство тут же опознает своего владельца.

Что превращает данную возможность настолько популярной? Для начала, это комфортно: не нужно запоминать сложные пароли или находить нужный палец в мраке. Также, это быстро: современные системы узнают лицо практически за мгновение. В-третью очередь, это впечатление будущего — как будто в фильмах про вулкан автомат агентов.

Однако за такой кажущейся легкостью скрывается весь мир комплексных технологий и инженерных концепций. Давайте исследовать, как именно функционирует распознавание лиц в новейших гаджетах, какие бывают технологии, насколько они надёжны и что нас ожидает в будущем.

Сжатая повествование эволюции технологии

Идентификация лиц как методика имеется уже более 50 лет. Первые попытки машинного исследования облика были предприняты еще в 1960-х годах в лабораториях США. Тогда вычислительные машины способны были лишь выделять контуры черепа и вычислять дистанции между зрачками и губами на монохромных снимках.

Изначальные торговые системы стали доступны в 90-х, но они были несовершенны: функционировали медленно и часто ошибались. Только с эволюцией нейронных сетей и таких площадок, как вулкан россии, высокопроизводительных мобильных процессоров распознавание лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый популярный смартфон с надёжным трёхмерным сканированием лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали интегрировать собственные разработки.

Основные этапы действия системы определения

Процесс идентификации лица можно ориентировочно разделить на несколько основных этапов:

1. Распознавание лица — камера выявляет существование людского образа в кадре.
2. Определение особенностей — механизм анализирует контуры лица: форму зрительных органов, обонятельного органа, губ, положение надбровных дуг.
3. Построение шаблона — создаётся уникальный виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение с стандартом — созданный шаблон сверяется с записанной при учёте биометрической информацией владельца.
5. Принятие выбора — если сходство достаточно высокое, смартфон открывается.

Каждый из указанных стадий запрашивает особых процедур и улучшений для скорой работы непосредственно на девайсе.

Железные элементы: что находится внутри них

Стандартная селфи камера.

Самый простой легкий вариант идентификации лица использует лишь фронтальную камеру смартфона. Данный способ реализован во многих недорогих моделях Android-устройств.

Преимущества:

• Не потребляет внешних датчиков.
• Шустро работает при качественном освещённости.

Отрицательные стороны:

• Просто ввести в заблуждение снимком или видеозаписью.
• Неправильно функционирует при низком освещении или необычных углах обзора.

Инфракрасная фотокамера и пунктирный проектор

Более усовершенствованные системы, такие как вулкан россии, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс лежит в основе Face ID от Apple.

Каким способом это функционирует:

• Точечный проектор показывает на лицо использующего невидимую решетку из тысяч инфракрасных меток (например, Face ID задействует около 30 000 пятен).
• ИК устройство регистрирует изменение формы данной решетки по плоскости физиономии.
• Получается трехмерная карта глубинности, которая почти что неосуществима для имитации обычной фото или маскировкой.

Выигрыши

• Надёжная функционирование даже в полной темноте.
• Сильная сопротивляемость к имитациям.
• Точность определения более 99%.

Дополнительные сенсорные устройства

В отдельных девайсах используются также вспомогательные датчики: ToF (Time-of-Flight), которые фиксируют время распространения луча до предмета и обратно; RGB-датчики глубины; специальные лазерные лидары для построения более детализированной 3D-модели лица.

Эти разработки используются наиболее часто во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные процедуры: синтетический ум в исполнении

Современные устройства опознания физиономий неосуществимы без эксплуатации artificial intelligence и машинного обучения. Именно из-за таким инновациям, как вулкан россии, гаджет способно распознавать юзера даже при трансформациях внешности: новая стрижка, щетина, оптика или грим не становятся барьером для деблокировки.

Обнаружение физиономии

В стартовом шаге программа обязана мгновенно найти ликовое изображение внутри полного снимка с камеры. Для данной цели используются многоуровневые классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые “обучены” идентифицировать лиц человека среди множества других объектов.

Пример: алгоритм MTCNN может обнаруживать лицо даже с частичном перекрытии (например, платком или ладонью).

Определение важных точек

После распознавания лица система, такая как вулкан россии, устанавливает расположение главных точек: кончики глаз, конец носа, края губ и так далее. Часто используется от 68 до 128 главных меток на лице.

Данное нужно для нормализации картинки: если пользователь удерживает мобильник под наклоненным, или наклонил голову, программа исправляет картинку до обычного угла для последующего изучения.

Формирование биометрического идентификатора шаблона

Далее искусственная сеть строит сжатое цифровое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой след внешности длиной от 128 до 512 вещественных чисел.

Этот образец очень трудно подделать: он не удерживает непосредственно картинку пользователя, а лишь особенные особенности его облика, что делает его совершенным для таких систем, как vulkan russia.

Сопоставление и принятие решения

Когда человек хочет разлочить мобильник взглядом, программа осуществляет все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный уровень (обычно превышает 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ запрещается.

Привыкание к изменениям облика

Увлекательная черта современных системы — способность самообучения. Если вы часто разблокируете мобильное устройство с новой стрижкой или оптикой, алгоритм постепенно обновляет эталонный шаблон вашего лица для повышения точности работы без ухудшения безопасности.

Охрана биометрических данных.

Большинство клиенты опасаются держать свои биометрические идентификационные данные на мобильном устройстве из-за риска утечки информации или взлома гаджета. Иные организации, такие как vulkan russia, предоставляют решения для повышения безопасности информации юзеров.

• Локальное хранение: Основная часть девайсов хранит биометричные шаблоны лишь внутри защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Эти данные ни разу не не выходят из аппарат и закрыты включая изготовителю.

• Шифрование: Все данные сберегаются только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция программ: Программы третьих разработчиков не имеют прямого доступа к биометрическим данным; они могут лишь требовать факт верификации личности через системный API.

Необходимо отметить значимую деталь: если кто-либо получит физический доступ к вашему телефону (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие производители внедряют систему защиты от “слепого” разблокирования — к примеру, просят раскрыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют существуют типы определения лиц на изображениях?

На сегодняшний день можно выделить 3 главных способа к осуществлению этой задачи:

Программное 2D определение

Эксплуатируется только передняя видеокамера без экстра сенсоров дистанции. Подобный подход используется чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: простота реализации; умеренная стоимость; быстрая функционирование при хорошем освещении.
Минусы: легко обмануть фотографией; неустойчивая работа ночью; недостаточная защищенность.

Оборудование для объёмное сканирование

Использует инфракрасную видеокамеру + проектор точек + датчики глубины (Face ID у Apple; аналогичные решения у Huawei Mate).
Преимущества: высокая надёжность; невозможно подделать фото/видео; устойчивая деятельность при любом освещении.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные подходы с интеграцией ИИ

Используют комбинацию программных методов + техническую обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, как вулкан россии и Google Pixel Face Unlock современных поколений, комбинируют фронталку c инфракрасным датчиком движения Soli Radar для защиты от фальсификаций руками/масками/видеоэкранами чужих устройств.

Образцы применения разных способов

• iPhone линейки X/11/12/13/14 применяют только аппаратное трёхмерное 3D-сканирование
• Xiaomi Mi8 Explorer Edition первый раз предложил подобие Face ID среди Android.
• Samsung Galaxy S10 версия/S20 обеспечивают как софтверное плоское определение по снимку фронталкой, так и сенсор радужки глаза.
• Huawei Mate20 Pro применяет систему из ИК-освещения + Dot Projector + ToF-датчик

Вопросы безопасности и неверные тревоги

Несмотря на поразительный развитие техники за последние годы, безупречных систем пока не существует:

1. Шанс мошенничества: Недорогие телефоны просто “разблокируются” качественной фотографией хозяина либо видеозаписью с экрана другого устройства.
2. Идентичные двойняшки: Даже самые совершенные системы могут ошибиться между однояйцевыми близнецами либо семьями с очень аналогичной внешностью.
3. Трансформации внешнего вида: Стремительное похудение/увеличение массы тела, пластические операции или травмы в некоторых случаях необходимы для повторной регистрации биометрических данных.
4. Условия записи: Сильная подсветка солнцем либо интенсивная затенение могут уменьшить верность определения признаков.

Здесь пара подсказок для безопасному использованию:

• Для критически важных операций всегда применяйте двухэтапную аутентификацию;
• Не включайте функцию “Разблокировка по лицу” на недорогих устройствах без ИК-сенсоров;
• Постоянно апгрейдите прошивку телефона для защиты от новых видов атак;
• Включайте функцию “Требовать открытых глаз” везде, где она есть.

Где дополнительно применяется технологии за исключением смартфонов?

Хотя основная мысль этой публикации касается именно портативным гаджетам, необходимо сказать о других сферах применения технологии:

• Мониторинг входа в офисах и резиденциях;
• Платёжные устройства финансовых учреждений (“Face Pay”);
• Электронные паспорта последнего образца;
• Установки видеоконтроля городских подразделений;
• Автоматизация регистрации явки образовательных учреждений/университетов;
• Аутентификация пользователей ПК/ноутбуков.

Например: В московском метро уже проверяется система платежа проезда по лицу (“Face Pay”) — нужно лишь пройти через турникет без карты или мобильника! Схожие проекты развиваются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом меняется техпроцесс в наше время?

Каждый год появляются современные мысли для усовершенствования качества работы систем лицевого распознавания:

1. Увеличивается чёткость датчиков — чем больше информации фиксируется фотоаппаратом/датчиками глубины, тем меньше шанс погрешности;
2. Развиваются нейронные сети — передовые конструкции типа MobileNetV3 позволяют оперативно осваивать свежим особенностям вида пользователя напрямую на гаджете без пересылки информации в облачное хранилище.
3. Совершенствуются способы антиспуфинга — теперь телефоны могут различать реальные живые лица от статичных фотографий/маскировок по незаметным движениям кожи.
4. Взаимодействие со умными устройствами — смарт-часы могут автоматически заблокировать мобильный телефон, если владелец отошёл далеко.
5. Проявляются смешанные механизмы — к примеру совмещающие речевую аутентификацию + лицо + дактилоскопический след.

Здесь, которые направления в особенности актуальны в данный момент:

1) Уменьшение компонентов

Компании стараются уменьшить габариты отверстия (“чёлки”) под датчики на экране за счёт встраивания компактных ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Обработывание прямо на аппарате

Для увеличения личной безопасности всё больше вычислений осуществляется локально без отправки информации во дополнительный облачный сервис.

3) Упорядочивание норм

Google энергично продвигает эталон BiometricPrompt API, для того чтобы подобные платформы, вроде вулкан россия, и любые Android-аппы могли работать с любыми видами биометрии унифицированно.

Что подобрать сегодня?

Если тебе нужна максимальная безопасность данных, подбирайте топовые аппараты со встроенным ИК-излучателем или же ToF-сенсором глубины.

• iPhone всех существующих последних поколений
• Huawei Partner/P линейки
• Mix Expert
• Vivo X серии
• Oppo Найти Икс линейки.

Если бюджет скромен – лучше отдавать предпочтение обычным способам защиты (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в вулкан россия, использовать только как дополнительную возможность комфорта.

Каким способом улучшить практичность использования возможности?

Есть некоторые лайфхаков для тех, кто уже применяет разблокировку по лицу:

1. Часто обновляйте свою изображение-шаблон, если сильно меняется внешность.
2. Не забывайте протирать линзу передней камеры – загрязнения могут уменьшить четкость!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего смартфон сам запускает камеру если вы берёте его в руки.
4. Во время регистрационного процесса старайтесь держать лицо прямо напротив объектива исключая сильного наклона головы.
5. Задействуйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отворачиваетесь от дисплея.

Будущее эволюции технологии

В скоро наступающие годы можно предвкушать развития полностью дистанционных способов идентификации человека сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + голос + походка + жесты рук!

Также вероятно развитие новых методов защиты конфиденциальности – скажем, изменяющееся изменение диджитал шаблона после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из самых увлекательных инноваций нашего эпохи! Она обеспечивает взаимодействие со мобильным устройством удобнее чем когда-либо прежде, и такие приложения, как vulkan russia, могут существенно улучшить ваш пользовательский опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы знаете, как функционирует эта методика в деталях, – будете в состоянии осознаннее выбирать свой очередной девайс!