Пиксель-арт и нейросети

Ни для кого не секрет, что алгоритмы машинного обучения в последнее время развиваются весьма активно и всё чаще используются в различных аспектах науки и жизни. Многие любители игр слышали, что нейронные сети пытаются применять и для "подтягивания" картинки в старых играх с низким разрешением и даже видеофайлах. Началось всё с того, чтобы научить алгоритмы убирать дизеринг (шум), но на сегодняшний день существует уже несколько десятков моделей, натренированных на различных наборах данных. Давайте посмотрим наглядно, может ли бездумный компьютер сделать что-то полезное, или он способен разве что "размылить" изображения?

В качестве материала для этого эксперимента мы возьмем замечательные иллюстрации к игре DragonStrike (1990, DOS) - первопроходческого симулятора полетов на драконе от легендарной Westwood Studios по мотивам книг DragonLance. Эти изображения появлялись во время брифингов между уровнями, а нарисовали их настоящие мастера пиксель-арта этой студии из Лас-Вегаса - Луис Касл, Джозеф Хьюитт, Морин Старкли и Рик Паркс. Да, тот самый Рик Паркс, который ответственен за графику в Legend of Kyrandia и у которого так здорово всегда получалось рисовать облака, в том числе и в той самой знаменитой заставке этой игры. Но вернемся к DragonStrike. Файлы с графикой в игре закодированы некоторыми видами сжатия, часть из которых мы смогли разобрать во время перевода этой игры (если вы еще с ним не ознакомились - рекомендуем). Так что перед вами не скриншоты, а именно раскодированные изображения всех брифингов к игре, за исключением одного. Он был запакован другим алгоритмом и мы объявляем конкурс - кто сможет раскодировать этот тип сжатия и извлечь картинку получит виртуальную медаль Бюро, а также почет и уважение (и, конечно, возможность присоединиться к нам для перевода других игр).

За обработку огромное спасибо @Ogr 2. Был использован GUI n00mkrad/cupscale и модель bigface v3. С помощью данного инструмента каждый может легко поэкспериментировать с разными моделями и даже совмещать несколько из них. Правда, для этого очень желательно иметь видеокарту Nvidia. На картинках ниже приведено сравнение оригинальных изображений, увеличенных в 4 раза, и обработанных с помощью модели.

Читать дальше

​

Как можно видеть, данная модель пытается имитировать масляную живопись (что здесь вполне подходит), но не всегда успешно справляется с изображениями людей и морд монстров. Также есть проблемы и с увеличением совсем мелких изображений. При этом некоторые другие модели лучше справляются с этими аспектами, но проигрывают в других. Конечно, мы любим старые игры со всеми их ограничениями, но все-таки, согласитесь, приятно увидеть любимые рисунки в большом масштабе: детали воспринимаются совсем по-другому!

Если же вам интересно обсудить увеличение изображений в играх с помощью нейронных сетей - приглашаем в специально созданную для этого тему на форуме.