Виртуальный фон и шумоподавление в новом приложении от Nvidia

Nvidia анонсировала новый плагин: NVIDIA Broadcast. Это плагин, который устраняет звуковой шум, заменяет фон в кадре на виртуальный, а также кадрируется на вашем лице. В этом материале мы подробнее расскажем о этих функциях, а также о том, на каких устройствах и когда ждать приложение.

1 сентября прошла презентация от Nvidia, на которой показали новые видеокарты серии RTX 30. Если кратко: они лучше и дешевле собратьев 20-й серии. Вместе с видеокартами произошёл анонс Nvidia Broadcast. Это приложение, которое нацелено на стримеров, но использовать его сможет любой обладатель видеокарт NVIDIA GeForce RTX, TITAN RTX и Quadro RTX. В фундаменте Nvdia Broadcast находится другое приложение – RTX Voice.

RTX Voice – приложение, которое использует графические процессоры NVIDIA RTX и возможности искусственного интеллекта для удаления фонового шума из трансляций, голосовых чатов и видеоконференций.

Nvidia Broadcast показывает ещё большую функциональность. Оно выполняет три функции:

• Устранение шумов.
• Установка виртуального фона.
• Автоматическое кадрирование. 

Как работают новые возможности

Устранение шумов в Nvidia Broadcast работает по принципу RTX Voice. Все поступающие звуки, кроме вашего голоса, будут подавляться. В ролике это можно увидеть с 0:24 по 0:42. Спикер попросил девушку включить фен, а затем включил подавление шума. Результат: фен не слышно, а спикера – вполне.

Этим функционал подавления шума не ограничивается. Функцию можно применить не только на собственный микрофон, но и на голос собеседника. В ролике это можно увидеть с 1:20 по 1:32. Пользователь по ту сторону экрана стучит по клавиатуре и разговаривает. Стоит нажать одну кнопку, как звук клавиатуры пропадает, а голос – остается.

Вторая функция Nvidia Broadcast – виртуальный фон. С помощью этой штуки можно включать эффект размытия, либо полностью заменять фон. В ролике это можно увидеть с 1:48 по 2:24.

Эффект размытия

Замена фона

Последняя функция – автоматическое кадрирование. Она «приближает вас, используя ИИ для отслеживания движений вашей головы и удерживая вас в центре событий, даже когда вы двигаетесь в кадре». В ролике это можно увидеть с 2:36 по 2:52.

Многоугольное кадрирование или кадрирование камеры – это возможность, которую можно спокойно настроить с помощью кучи оборудования или предварительных правок в софте, подобном OBS. Nvidia просто упрощает этот процесс. Сильно. Компания запустит автоматическое кадрирование и виртуальный фон в формате бета-тестирования, как это произошло с RTX Voice. Всё ради обучения искусственного интеллекта.

Ничто из описанного не является эксклюзивом для 30-й серии RTX. Broadcast будет работать на любой RTX-видеокарте. Выход утилиты состоится в конце этого месяца. Точной даты названо не было.