Что делает Sketch2Sound интересной, так это её способность понимать контекст. Например, если кто-то вводит "лесная атмосфера" и издаёт короткие вокальные звуки, система автоматически распознаёт, что эти звуки должны стать птичьими криками, без необходимости в конкретных инструкциях. Такая же интеллектуальность применяется к музыке. При создании ударных паттернов пользователи могут ввести "малый барабан" и напевать ритм, используя низкие и высокие ноты. Система автоматически малые барабаны на высоких тонах.
Исследовательская группа встроила специальную технологию фильтрации, которая позволяет пользователям настраивать точность управления создаваемыми звуками. Звуковые дизайнеры могут выбирать между точным, детализированным управлением или более расслабленным подходом, в зависимости от их нужд. Эта гибкость может сделать Sketch2Sound особенно ценным для фоли-артистов — профессионалов, создающих звуковые эффекты для фильмов и телешоу. Вместо того чтобы манипулировать физическими объектами для создания звуков, они могли бы потенциально создавать эффекты быстрее с помощью голоса и текстовых описаний. Исследователи отмечают, что пространственные аудиохарактеристики входных записей иногда могут нежелательно влиять на создаваемый звук, но они работают над решением этой проблемы.
Источник
Обсудить