Учёные Техасского университета в Остине разработали инновационную модель для генерации изображений городских улиц, основываясь на их аудиозаписях. Для обучения системы использовались аудиовизуальные клипы, включающие изображения и звуки улиц, снятые в разных странах.
Для обучения системы использовались клипы, содержащие статичные изображения и окружающие их звуки, взятые из видеороликов YouTube о городских и сельских улицах Северной Америки, Азии и Европы. Применяя алгоритмы глубокого обучения, ИИ научился распознавать, какие звуки соответствуют определённым объектам на изображениях.
Участникам эксперимента показывали каждое фото вместе с двумя сгенерированными картинками других улиц, одновременно проигрывая звуковую дорожку, соответствующую первому изображению. Задача участников состояла в том, чтобы определить, какое из трёх изображений относится к прослушиваемому звуку. В результате они определяли нужные фото с точностью до 80%.
Исследование предполагает не только возможное использование в криминалистике, но и в изучении воздействия восприятия звуков и изображений на психическое здоровье человека, а также для разработки методов городского проектирования в населённых пунктах.
