Нейромоддинг и нейрогеймдев: на пороге бездны, часть IV

Пока мы были в небольшом отпуске, случилось многое. К большому нашему унынию, две вышедшие на неделе большие и ожидаемые игры не порадовали. Зато мир ИИ в очередной раз подкинул идей для размышления. Что же, давайте посмотрим, что интересного там происходит.

нейромоддинг: что нового

Интереса ради пошарив по Nexus, я нашел около полутора десятков модов для разных игр, созданных при помощи искусственного интеллекта. Я не поленюсь и приведу вам список найденного, чтобы вы сами смогли оценить качество и содержание. (Модов наверняка больше, но я выбрал те, что попались по поиску neural)

• NeuraLOD - Higher detail LOD для Fallout 4, содержит улучшенные с помощью ИИ текстуры вида на дистанции (LOD).
• AP Neural Enhanced Textures v4 для Dragon Age Origins, улучшает текстуры в игре, драматически повышает детализацию и качество. Так как разрешение получилось не слабое, к нему есть даунсайзер до 1к.

До улучшения

После улучшения

• Neural Redemption для игры Vampire: The Masquerade - Redemption, улучшает и делает более четкими и детальными текстуры в игре. По мне, становится ненамного лучше, но почему бы и нет.
• Heretic Neural Texture Pack для старенькой Heretic: Shadow of the Serpent Riders, тоже улучшает изображение.
• Arx Neuralis для заслуженной и весьма играбельной старушки Arx Fatalis, тоже улучшение текстур, мелочь, а приятно. Намного меньше мыла и убожества.
• Neural Origins для игры Condemned: Criminal Origins, опять же улучшение визуальной составляющей.
• Hexen Neural Texture Pack - обновленные при помощи нейросети текстуры для старика Hexen! Смотрите, какая четенькая красота:

Почти как новая!

• Neural 1080p Enhanced Cutscenes для Assassin's Creed II  - уже посерьезнее заявки пошли, улучшение катсцен.
• Neural 1080p Enhanced Cutscenes для Batman: Arkham Asylum - эти улучшения увеличивают разрешение катсцен до 1080 пикселей, как следует из названия, а кое-где еще и битрейт улучшен. 
• Neural 1080p Enhanced Cutscenes для Need for Speed: Most Wanted (2005) - а еще применяют увеличение антиалиасинга, повышая сглаживание границ и текстурных "елочек".
• Neural 1080p Enhanced Cutscenes для Heavy Rain - И плюс повышают четкость и убирают артефакты.
• Neural 1080p Enhanced Cutscenes для Enslaved: Odyssey to the West - идеально для таких запоротых сцен, как здесь. 

Пока работа с нейросетями включает в себе в основном текстурные улучшайзинги, но обновленные катсцены - это уже кое-что новенькое. Про ChatGPT для Skyrim VR мы уже писали отдельную новость, где можно посмотреть видео. А моды на озвучку вы можете найти в первых выпусках серии Нейромоддинга, ссылки будут в конце статьи.

Кстати об озвучке, программа с искином под названием xVASynth, которая генерирует новую озвучку, используя голоса из игр, обновилась до версии 3.0. Посмотрите видео, которое демонстрирует результат. Конечно, по голосу все еще слышно, что это автомат, но тембр и особенности голоса сохраняются. При помощи программы Trainer вы можете научить AI собственному голосу! Под видео на YouTube вы найдете все ссылки на все версии и соцсети автора, подписывайтесь, явно будет все интереснее и интереснее.

Посомтрите, как работает новая версия!

adobe вступает в бой

Все больше AI будет со временем встроено как инструмент в разные программы. Adobe не отстает, снабжая свой самый известный и крутой инструмент встроенным искуственным интеллектом. Я посмотрел кучи роликов в сети, где пользователи тестировали разные фишки, и вот сводный пост.

Новый инструмент Удаление при помощи ИИ удаляет любой объект с фото, восстанавливая фон за ним так, будто там ничего и не было. Похожие возможности уже существовали, но оставляли желать лучшего. Новый же инструмент весьма качественный.

Добавлены новые нейронные фильтры, в том числе фильтр для восстановления оцифрованных старых и поврежденных изображений, фильтр, раскрашивающий монохромные изображения и так далее. 

Не успели пользователи порадоваться плагину Stable Art для интеграции Photoshop и нейросети Stable Diffusion, как их настигла новость о том, что в программу будет встроена нейросеть Firefly, которую поспешили назвать убийцей этой самой Stable Diffusion. Она так же генерирует изображения по описанию и работает вполне неплохо, хотя и не идеально. Перерисовка объектов на фотографии, превращение трехмерных объектов в плоские и наоборот, создание векторных изображений по описанию, тренировка сети на обственных изображениях - вот часть открывающейся нам перспективы.

Зачем плодить сущности, скажете вы? За тем, что нейросетям часто не хватает элементарного удобства и настроек, человеческого интерфейса. А здесь вам не нужно ничего, никаких левых плагинов, сторонних подключений, программ, выплат на сторону и так далее. Все это просто внутри программы, как инструмент. И плюс Photoshop очень известен, так что популярность новой сети ( и ее отбиваемость, да) будет обеспечена. Ведь это недешевое удовольствие, но компания может себе его позволить. Пока что искин обкатывается только на бета-версии программы.

Нейросеть понимает наличие объектов в кадре, перспективы, источников света; общее освещение, материалы и необходимость теней и отражений; дорисовывает кадры с учетом содержимого так ловко, что иной раз трудно догадаться, что это было сделано автоматически, генерирует фоны с учетом освещения объекта и его общего тона и так далее, вставляет объекты, расширяет поля кадра, дорисовывая его с учетом контекста того, что там находится!
 
При вставке новых объектов даже каустику  и рефлексы отражения, отскоки света учитывает: прозрачная стеклянная бутылка отбрасывает необходимые блики в зависимости от направления света в кадре и точно следует перспективе! Я в шоке.  

Официальный релиз состоится предположительно в октябре. Ремонт старых и создание новых текстур стоит опробовать тут же, ведь Светлячок уже переплюнула Stable Diffusion во всех аспектах.

Официальное видео - и это вовсе не фантастика и не случайные красивые результаты!

и еще немного о графике

Остальные тоже в стороне не стоят, так что еще о парочке интересных сетей для графики я упомяну.

Lama Cleaner - неройсеть, которая удаляет и добавляет объекты на изображение буквально в пару кликов, дорисовывая фон при необходимости. То же, что и в Photoshop, и даже гораздо лучше старых, досветлячковых инструментов, но есть одно "но" - как во многих случаях с ИИ, нужны танцы с бубном вокруг аккаунта и кучка телодвижений, что категорически не подходит простоюзеру. Но если интересно, то вот ссылка, а вот более-менее внятная инструкция на русском.

Программа подойдет тем, кто не собирается ставить целый Photoshop и платить за него (в пиратке не будет ИИ, ясен пень), чтобы просто вымарать бывшего из своего цифрового прошлого, но не против немного ради этого повозиться.

А следующая программа куда серьезнее. DragYourGan - генеративно-состязательная сеть. Это связка из двух сетей, одна из которых генерирует изображения, а вторая - отбрасывает те результаты, которые отличаются от идеальных. Так что ее результаты выглядят весьма реалистично.  Фильтр "Пластика" в расхваленном выше фотошопе точно будет резко отставать по качеству от этой сети, ведь она может даже изменить ракурс модели, дорисовывая ранее невидимые ее детали! Пока что недоступна для широкого использования, но думаю, релиза будут ждать с большим интересом.

Можно очень много про это рассказывать, но лучше один раз увидеть.

Drag Your Gan!

Вывод: если вы работаете с графикой, нейросети - ваш бро, ну, до того момента, конечно, как этот бро отберет у вас работу. С другой стороны, по некоторым данным, люди стремительно тупеют, так что даже эти волшебные инструменты долго будут казаться им чем-то непостижимым, для людей с прямыми руками, так что унывать рано.

Приятного развлечения, кожаные мешки!