Что вы сказали? Теперь ученые могут подслушать ваш разговор с помощью пакета из-под картофельных чипсов? Оказывается, исследователи из Массачусетского технологического института, Microsoft и Adobe создали алгоритм, который может реконструировать аудиосигнал, просто анализируя малейшие колебания объектов, изображенных на видео. На самом деле им удалось восстановить разборчивую речь по колебаниям пакета из-под картофельных чипсов, сфотографированного с расстояния 4,5 метра через звуконепроницаемое стекло.
Как ученые могут подслушать ваш разговор
«Когда звук ударяется о какой-либо объект, он заставляет его вибрировать, — сказал Эйб Дэвис, аспирант кафедры электротехники и информатики Массачусетского технологического института, в пресс-релизе. — Эта вибрация создает едва заметный визуальный сигнал, который обычно невидим невооруженному глазу. Люди не осознавали, что эта информация существует».
Конечно, воссоздать этот звук было непросто. Для этого требовалось, чтобы частота видеосэмплов, то есть количество кадров, снятых за секунду, превышала частоту аудиосигнала. Для сравнения: смартфоны снимают со скоростью 60 кадров в секунду, а ученые использовали устройство, которое снимало со скоростью от 2000 до 6000 кадров в секунду. Лучшие коммерческие высокоскоростные камеры могут снимать со скоростью до 100 000 кадров в секунду.
Свойства объектов для подслушивания разговоров
Ученые измерили механические свойства объектов, которые снимали на камеру, и определили, что измеряемые ими движения составляют примерно одну десятую микрометра. На изображении крупным планом это соответствует пяти тысячным пикселя. По изменению цветового значения одного пикселя с течением времени можно судить о движениях, меньших, чем размер пикселя.
Это не значит, что нельзя использовать менее точные инструменты. В некоторых экспериментах исследователи использовали более обычные камеры и обнаружили, что с их помощью можно получить достаточно информации, чтобы точно определить пол говорящего и количество людей в комнате.
«Мы извлекаем звуки из объектов, — говорит Дэвис. — Это дает нам много информации о звуках, которые окружают объект, а также о самом объекте, потому что разные объекты по-разному реагируют на звук».
Этот метод имеет очевидные перспективы применения в правоохранительных органах и криминалистике. Кроме того, он позволяет получить больше информации о самом объекте.
«Это что-то новое и свежее. Такого не сделала бы ни одна другая группа, — сказал Алексей Эфрос, один из исследователей. — Мы ученые, и иногда мы смотрим такие фильмы, как «Джеймс Бонд», и думаем: «Это голливудская театральщина. Так не бывает. Это нелепо». И вдруг — бац! — это происходит. Вы точно знаете, что убийца признался в содеянном, потому что на записи с камеры наблюдения видно, как вибрирует его пакет с картофельными чипсами.
Результаты исследования опубликованы в журнале ACM Transactions on Graphics.