Нейромоддинг и нейрогеймдев: на пороге бездны, часть II

Предисловие от автора: это вторая часть статьи, в первой мы разбирали моды и визуальную часть (графику и видео), а сейчас продолжим говорить о других направлениях: программировании, музыке и звуках, нарративе и текстах. Названий будет много, ссылок мало, если вас что-то заинтересовало, найдется оно легко. Будет много видео. Приятного чтения!

P.S: А еще готовьтесь играть с нейросетью в TES!

нейросети и программирование

Животрепещущий вопрос: как писать код к игре, если ты очень хочешь, но не учился этому последние 10 лет? На волне моды на нейросети, разумеется, взгляд обращается к ним. Что же могут сети, которые пишут программы? Если обратиться с этим вопросом в Google, на первых страницах будут стенания кодеров, которые почувствовали угрозу своим теплым местечкам и хорошим зарплатам. А что насчет кода, который можно использовать в играх?

ChatGPT, построенный на GPT3.5, делает колосальные успехи в понимании человеческого языка и кода. В прошлой части вы могли посмотреть ролик, где попытке авторов создать игру с нуля он играл роль программиста и пока справился с ней так себе. Но справился, ведь итог с некоторой коррекцией получился рабочим. Результат мог быть лучше, если бы человек умел что-то кодировать, и использовал другие сети на базе GPT разных версий, которые специализированы, встраиваются в среды и дописали бы за него половину кода. Например, DoesNotExist, поддерживающий языки С и С++.

DeepMind AlphaCode, вышедшая год назад, умеет работать с ресурсами GitHub, а в соревнованиях программистов оставила позади 45% кодеров уровней джуниор и миддл. Программирует она на python и C++, а последнее открывает нам дорожку к Unreal Engine.

Microsoft Copylot подсказывает код на языках JavaScript, Python, TypeScript, Ruby, Go, C#, C++.  Очень неплохой набор, согласитесь, особенно приятно, что встраивается в среду разработки от JetBrains, а у них весьма достойные решения, сильно облегчающие кодерам жизнь (попробовано).

Это. разумеется, лишь самые известные и мощные проекты, и результаты их работы не безупречны и все еще требуют квалифицированного человеческого вмешательства. Тем временем, сети обучаются, эволюционируют, и вскоре смогут делать гораздо больше. Так что, полагаю, результаты улучшатся быстро, очень быстро. (Может быть, кто-нибудь подкинет сетям и Papyrus, кто знает. А то пока выйдет TES VI, Скайрим будет длиться вечность).

Недолго музыка играла...

Положим, нам удалось нахимичить себе нейрографику и нейрокод, а что насчет музыки? Ну, кажется, тут все еще веселее. Музыка, между прочим, не проще языков программирования, достаточно погрузиться хотя бы ненадолго в музтеорию, но что такое изучить новый "код", когда у тебя океан информации, а есть, спать и думать о бывшей ты не хочешь? Вот и сети о ней не думают. Они пишут и обрабатывают музыку, аудиотекст (озвучку), звуки.

AudioLM от Google генерирует сказанное вами при помощи других голосов (привет, озвучка!), и делает еще много интересного. Вот примеры. Не знаю, поддерживается ли русский, или только английский. Так же Google тестирует сеть MusicLM, которая по идее должна будет генерировать музыку по запросу.

Riffusion на основе уже нам известной StableDiffusion генерирует музыку по запросу. Сначала это выглядит, как спектрограмма, а затем преобразуется в звучание. Дерзайте!

AIVA считается подходящей для генерации саундтреков. Можно скачать, как приложение. Правда, она совсем не бесплатная - бесплатно можно создать только 3 трека в месяц.

Amper - облачная платформа, которая упрощает процесс создания саундтреков к фильмам и видеоиграм, а также создает саунддизайн в формате copyright-free.

Solaris Virtual Vocalist генерирует идею вокала к вашему произведению, которую можно использовать, как референс.

Это лишь несколько интересных проектов, на деле их гораздо больше, AI встраивается в разные программы и приложения, используется направо и налево для аналитической работы, так что даже если вы совсем не музыкант, получить мелодию в нужной обработке все таки можно, хотя с непривычки придется постараться.

нейросети и нарратив

А что же насчет текста? Мы же должны создать сценарий, расписать его, да и вообще как-то создать множество и множество диалогов, записок, книг, помогите, спасите! Но и тут найдутся роботы, которые не прочь подумать за вас. Разве что результат может быть не лучше знаменитых корованов. Сейчас считается, что сети не могут создать осмысленное произведение большого объема, и заниматься чем-то лучше копирайтинга, сухого и трескучего. Но прогресс стоять на месте долго не будет. Ведь сеть вполне может заменить миллионы обезьян, которые, по поверью, просто долбая по клавишам, однажды напишут "Войну и мир". Посмотрим, что интересного сети могут нам предложить. Вот парочка примеров:

ruGPT3 в соавторстве с писателем Павлом Пепперштейном написал сборник рассказов. Нейросеть училась на произведениях русских классиков и самого автора, тем не менее, стиль оказался не похож. Читателю самому предлагается угадать, какие рассказы писал человек, а какие - сеть.

RYTR пишет на 36 языках, включая русский. В основе опять же GPT3. Пара слов, и абзац для рассылки или статьи готов. С виду.

Балабоба от Яндекс пытается в соавторство, продолжая ваш текст. Сказочка про пса и кота, которую я получил в ответ на запрос "Жили-были кот и пёс" вышла вполне разумной.

Пока что это самое слабое место роботов: осмысленная литература вряд ли когда-то обойдется без автора-человека. Впрочем, это тема для отдельного рассуждения. А пока сотрудничество робота GPT3 и авторов достигло апогея, когда чат был встроен в игру Mount and Blade: Bannerlord, и NPC внезапно поумнели и научились болтать, выходя за рамки скриптовых диалогов. Вот это было круто и вполне имеет право на жизнь в будущем. 

играем с нейросетью в tes и не только

Дополнение про нарратив и крутая новость из отдельного мира текстовых ролевок. Один умный человек с ником @Cooliobro скормил лор вселенной Elder Scrolls нейросети Character AI, и теперь вы можете поиграть с ней в текстовую ролевую игру, на ходу получая задания, придумывая сюжет и реакции. Ваш покорный слуга опробовал эту замечательную игру. Я нарочно проверил, как этот AI понимает перевод прямиком из GoogleTranslate, чтобы любой из вас мог играть, не тревожась. Замечательно понимает, у него есть мозги. Вот такая история стартовала у меня с роботом:

Если коротко, я по условиям бота прочухался на дороге рядом с Фолкритом, раздетый и ограбленный. Неподалеку обнаружился некий человек, который не проявлял враждебности. Я окликнул его, и он мне посочувствовал, спросил, что случилось. Ну конечно, меня раздела ведьма, что бы это еще могло быть. Добрый AI предложил свою помощь, я предложил награду, и мы уже друзьями отправились на поиски ведьмы. Вот сейчас кто-то огребет!

Вы понимаете, в чем дело? На ходу нейросеть создает и предлагает вам приключение, сценарий, выступая как гейммастер! Хотите мини-сюжет для квеста, а дело не идет? Так вот же он! Как раз такие небольшие шаги роботы освоили уже прилично.

На самом сайте нейросети множество текстовых проектов. Робот понимает русский язык, но отвечает все равно по-английски, однако если использовать браузерные переводчики, все будет выглядеть супер. Чтобы все сохранялось, зарегистрируйтесь.

ИГРАТЬ!

подводя итоги

Краткое резюме: работу роботы пока что ни у кого не отберут, соавторами и помощниками могут быть прямо сейчас, искусственный интеллект силен, но пока еще глуповат, однако, учится, и в будущем будет отличным подспорьем в личном творчестве, включая геймдев. Остро стоят вопросы конкуренции и главное - авторских прав, ведь ИИ пока заимствует все у людей.

Но главное, что AI снижает порог вхождения в ту сферу, что мы считаем сложной и непостижимой - творчество, искусство, так что в итоге любой сможет найти средство выражения своих мыслей, идей и чувств в той форме, которая его устроит даже при отстуствии не то что такой выдумки, как талант, но и вероятных склонностей. Придумывайте свои игры, корованщики, скоро вы сможете их написать. Это мое казуальное мнение, а вот мнение более профессионального товарища.

P.S: Захватят мир роботы или нет? Что думаете, кожаные мешки?