У Китаї розробили смартфон-асистент, що розпізнає мову за рухами губ

Китайські вчені з Університету Цінхуа розробили голосовий асистент для смартфонів, що здатен розпізнати мову за рухами губ, навіть коли людина не вимовляє звуків, повідомляє PlaySpace Magazine.

Повідомляється, що це стало можливим завдяки застосуванню двох нейронних мереж. Одна стежить за станом 20 контрольних точок, що описують форму губ і рівень відкритості рота за допомогою вбудованої камери смартфона. Друга — використовує всю отриману інформацію для розпізнавання мови. На сьогодні додаток підтримує 44 команди.

Навчання нейромереж відбувалося на основі мови 21 людини. Середня точність розпізнавання дорівнює 95,5%.