Робот-пылесос научили шпионить за людьми. Даже без микрофона

Тогда инженеры воспользовались программным комплексом Dustcloud и с его помощью записали с лидара данные об интенсивности колебаний. После получения данных с лидара алгоритмы проводят их фильтрацию — в частности, интерполяцию для пустых фрагментов сигнала, получающихся из-за того, что луч не вернулся на датчик, пиковую нормализацию, фильтруют низкочастотный шум и усиливают сигнал в области низких частот, причём отдельно для множества небольших интервалов частот.

В результате получается файл, в котором достаточно данных, чтобы по ним можно было восстановить звуки. После предварительной обработки спектрограмму сигнала подают на свёрточную нейросеть, которая относит сигнал к одному из знакомых классов. Авторы показали практическую применимость метода на нескольких задачах: определение произнесённых цифр, пола говорящего, начальной музыкальной заставки телепередачи, а также распознавание личности говорящего.

Инженеры установили пылесос напротив мусорного ведра, которое выступало в качестве «мишени» лазерного излучателя и включали звук громкостью 70 децибел на колонке, стоящей в 20 сантиметрах. В результате они получили достаточно высокую точность распознавания для такого метода: 96% для определения пола, 91% для цифр, 90% для телепередач и 67,5% для определения личности.