Моддер обучил нейросеть говорить голосами персонажей игр Bethesda

Теперь всё озвучат голосом ординаторов из Морровинда, во всех частях Свитков, чтобы чувствовать себя полным ничтожеством, но уже по настоящему.

Кому-то может пригодиться, кто моделирует там вечно моды свои к этим играм.

Интересно можно ли скормить программе русскую локализацию для обучения и генерировать русскую озвучку?

Теперь при создании модов мододелам не будут нужны актеры для озвучки. Насколько же озвучка модов станет легче... Прекрасное приложение.

Похоже, что не всё так просто. Нужно скачать NVIDIA FastPitch и с его помощью обучить модель по семплам.

github.com/DanRuta/xVA-Synth/discussions/10

Проверил. Если программе скормить русский текст, то она сгенерирует озвучку, но звучать она будет с невероятно жутким акцентом, как будто текст читает человек, который очень приблизительно знает как звучат слова на русском.
Впрочем, может на какой-то из множества представленных моделей, и выйдет что-нибудь приличное. Но лучше всё же сгенерировать модель из семплов на русском для нормальной озвучки.

А не будет ли правовых проблем, если начнут таким образом пользоваться образцами голосов актёров озвучки? Просто вопросы уже поднимались подобного плана.
wsj.com/articles/BL-LB-55168
theverge.com/2020/4/28/21240488/jay-z-deepfakes-roc-nation-youtube-removed-ai-copyright-impersonation

А то ведь джинн из этой бутылки может оказаться настоящим ифритом.

Кербер, А зачем головы загружать? он лип файлы делает? Отличается вобще от синтезатора речи на андроид например?

katkat74, он лип-файлы не делает, программа создает только звук в формате wav.

Кербер, ага, я тоже пробовал русский текст. Там надо модель натренировать именно на русскую речь. Но судя по комментариям на нексусе, автор в целом и не против, просто у него немного другие приоритеты сейчас.

Я автора и сам спрашивал по поводу обучения новых моделей. Это всё можно сделать, но достаточно геморройно. Нужно сделать датасет для каждого звукового файла с таймингами текста используя Tacotron2 и потом скормить это FastPitch и уже оттуда в xVASynth. У автора сделаны датасеты для английского языка.

Drazgar, на фоне того, что многие игры теперь ограничиваются переводами без озвучки, это могло быть дать им шанс... Права правами, но... если на эту работу всё равно никогда и никого не наймут - за что бодаться?..
Хороший джинн, в общем, пусть подрастает и ифритится.

СКАЙнет, СКАЙрим. У меня нехорошее предчувствие.

katkat74, lip файлы не делает как и сказал Кальян. Думаю для их создания можно найти подходящий генератор который сможет из этих же датасетов создавать их.

Синтезатор речи Андроида не сможет сделать тебе озвучку похожую на речь другого человека, в этом и смысл обучения модели озвучки на семплах речи определённого человека.

Наконец-то! Если такую штуковину добавят в редактор игр, то можно будет наконец-то называть игрока его именем, а не придумывать всякие "Комбезы" и т.п. Надо, чтобы Беседчики воспользовались такой штукой.

Упустила, где Уэс Джонсон? Для кого это вот все, если там нет голоса Шеогората?

Так понимаю эта нейросеть очень сильно облегчит работу мододелам . Как по мне хорошая новость )