Китайские умельцы научили смартфон читать по губам

Приложение определяет лицо в кадре с камеры смартфона. Алгоритм программы отследит состояние 20 контрольных точек на губах. А также заметит начало и конец речи. Второй алгоритм занимается распознаванием речи.

Разработчики создали для помощника 44 команды. Благодаря части из них можно управлять системой. Вместе с тем, помощник понимает и контекст предоставленных ему команд. Поэтому если, например, система отобразила всплывающее окно с сообщением, то пользователь сможет быстро ответить на него. Программу неоднократно тестировали — точность работы составила 95.5%. Проверка осуществлялась даже в пекинском метро. Люди, которые принимали участие в тестировании предпочли беззвучные команды, чем традиционные в голосовом вводе. Это оказалось намного удобнее