Вызовы могут быть подслужены удаленно благодаря вибрации телефона, показывает опрос

Группа американских исследователей из Университета Пенсильвании обнаружила, что слабые вибрации, создаваемые телефонным спикером, могут быть использованы для удаленных в разговорах.

В новом исследовании американские ученые продемонстрировали, что можно было расшифровать телефонные звонки с использованием радиолокационных данных, полученных примерно в 3 метрах от телефона. Отмечено, что точность этого дешифрования остается ограниченной — около 60% для среднего объема 10 000 слов. Исследование было основано на проекте 2022 года, в котором исследователи использовали программное обеспечение для распознавания радиолокационного датчика и голоса, чтобы расшифровать 10 слов, буквы и цифры до 83%.

«Когда мы говорим на мобильном телефоне, мы склонны игнорировать вибрации, передаваемые через динамик, что заставляет весь телефон вибрировать. Если мы захватываем эти вибрации с помощью радара расстояния и применимого машинного обучения, чтобы распознать то, что было сказано, используя контекстуальные сигналы, мы можем распознать намерение для разговора» — Объясняет первый автор исследования, Суборж Басак.

Surenadj Basak и его менеджер Maant Gouda, соавтор исследования от Департамента компьютерных наук и инженерии, использовали радар волны миллиметрового волны — то же устройство, которое использовалось в автономных автомобилях, датчиках движения и беспроводных сетях 5G — для изучения потенциала компактных устройств на основе радара. Цель исследователей состоит в том, чтобы минимизировать эти устройства до размера, который позволил бы их интегрировать в такие объекты, как ручки.

Исследователи говорят, что их система предназначена исключительно для экспериментов и разработана с мыслью о потенциальных злоумышленниках. У них есть адаптированная шепота -крупная модель для открытия речи с открытым исходным кодом для декодирования вибраций в транскрипциях на известные языки.

«За последние три года в области искусственного интеллекта и моделей распознавания речи с открытым исходным кодом произошел огромный прорыв. Мы можем использовать эти модели, но они больше сосредоточены на чистой речи или ежедневных задачах, поэтому нам нужно адаптировать их для распознавания низкокачественных, шумных радиолокационных данных«Говорит Басак.

Чтобы переключиться с шумных данных на распознавание речи без уточнения всей модели шепота, исследователи использовали метод адаптации, известную как адаптация с низкой точкой. Это позволило ученым специализировать модель радиолокационных данных, преобразуя только 1% параметров шепота.

Чтобы записать вибрации, исследователи использовали миллиметровый волновой радар, расположенный в нескольких метрах от телефона, чтобы захватить тонкие вибрации поверхности, в то время как речь воспроизводилась через динамик. Чтобы проанализировать данные, они ввели этот радиолокационный сигнал в своей модифицированной версии модели для распознавания Whisper Speef, которая достигла точности до 60%. Исследователи подчеркивают, что точность транскрипции может быть улучшена с использованием ручной коррекции, основанной на контексте, такой как исправление определенных слов или фраз, основанных на предварительных знаниях об разговоре.

Авторы исследования сравнили свой метод чтения губ. Несмотря на то, что чтение губ отражает только около 30-40% произнесенных слов, многие люди используют контекстуальные сигналы, чтобы расшифровать достаточную информацию для участия в разговоре.

«Цель нашей работы состояла в том, чтобы выяснить, могут ли эти инструменты потенциально использовать злоумышленники для подслушивания на телефонных звонках на расстоянии. Результаты показывают нам, что это технически выполнимо при определенных условиях, и мы надеемся, что это повысит осведомленность общественности, чтобы люди могли быть более осторожными во время конфиденциальных разговоров«Исследователи заключают.

Результаты исследования были представлены на конференции ACM.