Пиксель-арт и нейросети

Ни для кого не секрет, что алгоритмы машинного обучения в последнее время развиваются весьма активно и всё чаще используются в различных аспектах науки и жизни. Многие любители игр слышали, что нейронные сети пытаются применять и для "подтягивания" картинки в старых играх с низким разрешением и даже видеофайлах. Началось всё с того, чтобы научить алгоритмы убирать дизеринг (шум), но на сегодняшний день существует уже несколько десятков моделей, натренированных на различных наборах данных. Давайте посмотрим наглядно, может ли бездумный компьютер сделать что-то полезное, или он способен разве что "размылить" изображения?

В качестве материала для этого эксперимента мы возьмем замечательные иллюстрации к игре DragonStrike (1990, DOS) - первопроходческого симулятора полетов на драконе от легендарной Westwood Studios по мотивам книг DragonLance. Эти изображения появлялись во время брифингов между уровнями, а нарисовали их настоящие мастера пиксель-арта этой студии из Лас-Вегаса - Луис Касл, Джозеф Хьюитт, Морин Старкли и Рик Паркс. Да, тот самый Рик Паркс, который ответственен за графику в Legend of Kyrandia и у которого так здорово всегда получалось рисовать облака, в том числе и в той самой знаменитой заставке этой игры. Но вернемся к DragonStrike. Файлы с графикой в игре закодированы некоторыми видами сжатия, часть из которых мы смогли разобрать во время перевода этой игры (если вы еще с ним не ознакомились - рекомендуем). Так что перед вами не скриншоты, а именно раскодированные изображения всех брифингов к игре, за исключением одного. Он был запакован другим алгоритмом и мы объявляем конкурс - кто сможет раскодировать этот тип сжатия и извлечь картинку получит виртуальную медаль Бюро, а также почет и уважение (и, конечно, возможность присоединиться к нам для перевода других игр).

За обработку огромное спасибо @Ogr 2. Был использован GUI n00mkrad/cupscale и модель bigface v3. С помощью данного инструмента каждый может легко поэкспериментировать с разными моделями и даже совмещать несколько из них. Правда, для этого очень желательно иметь видеокарту Nvidia. На картинках ниже приведено сравнение оригинальных изображений, увеличенных в 4 раза, и обработанных с помощью модели.

Читать дальше

​

Как можно видеть, данная модель пытается имитировать масляную живопись (что здесь вполне подходит), но не всегда успешно справляется с изображениями людей и морд монстров. Также есть проблемы и с увеличением совсем мелких изображений. При этом некоторые другие модели лучше справляются с этими аспектами, но проигрывают в других. Конечно, мы любим старые игры со всеми их ограничениями, но все-таки, согласитесь, приятно увидеть любимые рисунки в большом масштабе: детали воспринимаются совсем по-другому!

Если же вам интересно обсудить увеличение изображений в играх с помощью нейронных сетей - приглашаем в специально созданную для этого тему на форуме.

 

@Ogr 2, а почему именно 10000? Ты же сам писал, что bigface тренировали всего лишь на 1К. Ну и в любом случае нужно сначала научиться запускать эту самую тренировку.

 

@Fabricator, нет, натренировать сеть.

 

@Fabricator, можно считать, что пока научный интерес. А как результаты будут, там и посмотрим. Хотя бы к тем же картинкам Dragon Strike применить, или другим полноэкранным картинкам из других игр.

 

@AndreyBarmaley, так ведь всё можно скачать с сайта. Даже могу подсказку дать, файлы с этими картинками в игре называются BFIEF*.CMP

 

Нет конечно. Ясно же сказано, что нужно достать ту, которой не достаёт. Раз вы тип смогли посмотреть, то следующий шаг довольно очевиден

--- добавлено 27 фев 2021, предыдущее сообщение размещено: 27 фев 2021 ---

Нет конечно. Ясно же сказано, что нужно достать ту, которой не достаёт. Раз вы тип смогли посмотреть, то следующий шаг довольно очевиден

 

@AndreyBarmaley, в принципе, и то и другое. Не то чтобы принципиально помощь нужна - я внимательно не смотрел. Но картинки-то не достает. Какая-то из последних, если смотреть по названиям файлов в первом сообщении, то не хватает briefT.

--- добавлено 27 фев 2021, предыдущее сообщение размещено: 27 фев 2021 ---

Кстати, есть читерский способ, как это сделать без распаковки. Так что сама картинка уже не нужна - и понятно, почему она другим способом запакована, ведь это не заставка.


Так что задачка редуцируется к тому, чтобы понять как устроен 3 тип компрессии - но это только для тех, кому интересно ковыряться в алгоритмах шифрования. Нам такие специалисты действительно очень нужны в Бюро, некоторые игры годами лежат из-за того, что не получается расковырять картинки.

 

А мне эта картинка понравилось как получилась - кроме звезд, конечно, тоже заметил, что цвет зачем-то изменился (может, нейросеть здесь научена делать "более реалистично").