Soft Обработка растровых изображений нейросетями

Шапка

ESRGAN:
Инструкция по установки: Upscale Wiki. От пользователя MrFlibble. Я ставил по этой инструкции.
Модели обработки для ESRGAN: Model Database - Upscale Wiki
Использование ESRGAN: Using ESRGAN, Links, And Other Information - Upscale Wiki. там же ссылки на пару графических интерфейсов для ESRGAN, Cupscale умеет самостоятельно скачивать и устанавливать все необходимое для работы ESRGAN.
ресурс на английском, поэтому используйте переводчик: https://translate.google.com , вполне адекватный перевод дает.

waifu2x:
куча его форков: Build software better, together.
форк с интерфейсом на русском: lltcggie/waifu2x-caffe. так же имеются несколько моделей обработки, в том числе для подавления шума\устранения JPG артефактов (модель "jpg (0-100%) BlueAmulet" для ESRGAN даёт более качественный результат).

Topaz Gigapixel AI:
Gigapixel AI – Topaz Labs (халяву искать на rutracker.org)
правила обработки в Topaz Gigapixel AI для избежания получения артефактов на выходе:

видео со сравнением результатов других апскейлеров, в основном анлайнновых сервисов:

Программы умеющие подменять текстуры в играх на новые, более высокого разрешения:
ПК: некоторые сорспорты; ScummVM X.
NES: Mesen; HDNes.
PS1: ядро Beetle PSX HW в ретроарче; DuckStation; видео плагин GPUBLADESOFT 1.46.
Dreamcast: FLYCAST.
GameCube и Nintendo Wii: Dolphin.

Некоторые из завершённых проектов апскейлов:
Hexen Neural Texture Pack
Doom Neural Upscale 2X
Final Fantasy 7 Remako HD Graphics Mod
Final Fantasy 9 Remastered
Resident Evil: HD Remaster - REupscale project
Resident Evil 2 - Seamless HD Project
Resident Evil 3 - Seamless HD Project
Chrono Cross-texture-replacements. видео.
SOUL CALIBUR 1
Soul Reaver 2
Morrowind Enhanced Textures

(от @Ogr 2)

Оригинальное сообщение от MrFlibble

Мой интерес к алгоритму waifu2x возник по ходу чтения этой темы, а ранее я про него мельком читал тут. Я нашёл относительно удобную в использовании реализацию алгоритма с графическим интерфейсом для экспериментирования, результаты получаются довольно интересные.

Во-первых, помимо увеличения изображения, waifu2x имеет функцию снижения зашумленности из-за артефактов сжатия JPEG, которую можно использовать отдельно. Результаты получаются очень неплохие. Для примера вот официальный снимок экрана из Jazz Jackrabbit Holiday Hare '95, который был размещён в середине 90-х на сайте Epic MegaGames в формате JPEG с сильным сжатием, что привело к образования артефактов (оба изображения для удобства просмотра увеличены вдвое методом ближайшего соседа):

оригинал


waifu2x -- шумоподавление (уровень 1)


Алгоритм не только удалил почти весь комариный шум и звон, но и компенсировал снижение яркости, характерное для сжатия изображений с низкой глубиной цвета (оригинал -- DOS VGA).

Уровень шума можно задавать от 1 до 3, более высокий уровень позволяет улучшить сильно зашумленное изображение, но с риском частичной потери детализации из-за размывания.

Во-вторых, по моим наблюдениям, собственно увеличение изображения с помощью алгоритма waifu2x неплохо подходит для рендеров, в том числе с исходно низкой глубиной цвета. Примеры из The Elder Scrolls: Daggerfall (исходные изображения увеличены вдвое методом ближайшего соседа): показать примеры

В-третьих, шумоподавление и увеличение рендеров можно комбинировать, примеры:

• Орка (Command & Conquer): оригинал, двукратное увеличение с шумоподавлением
• Голиаф против храмовника (StarCraft): оригинал, двукратное увеличение с шумоподавлением

Неплохо преобразуются и эскизы:

оригинал


увеличение с шумоподавлением (уровень 1)


Отмечу, что алгоритм изначально создавался для преобразования анимешных картинок, но его функциональность позволяет работать и с изображениями из игр, и с фотографиями тоже.

 

Нет, именно проблема художественного воплощения встала в полный рост. Технических проблем не было.

А зато теперь мы получим кучу хлама бесплатно. Да вот в принципе уже.

 

да? ну ка, как мне использовать в кармагедоне новые текстурки в 4 раза больше? вот то то же...

снобизм (либо лучшее, либо всё остальное говно не достойное жизни).

 

Можно долго рассуждать, нужна ли в нынешнем виде данная вещь или нет, но сам факт, что человек запарился и сделал поддержку апскейла, а не просто на форумах языком чесал, какие все вокруг рукожопые и при желании можно ремастеры всех Спейс Квестов за полчаса сделать ("что значит я сделай? я не могу, ты чего, у меня лапки") - уже заслуживает хоть какого-то уважения, и это не говоря о том, что уже готова техническая база для более качественных фанатских перерисовок, а не только прогонов через нейросеть. У нас вот был товарищ, любивший скриншоты ДОСовских игр прогнать через наркоманские фильтры и утверждать, что это уровень оригинальных сканов рисунков из офиса Сиерры, не иначе. Занятие спорное, конечно, но если бы он еще код игры адаптировал под свои ЛСД-трипы в высоком разрешении - цены бы ему не было.

 

Идея заменять фоны и спрайты мне нравится, давно пора.
А вот прогон через нейросети - пока адовый. Нет.


Получше выглядит SCIx, но если только фоны. Спрайты превращаются в унылое г.

Процесс, где видно спрайты, как обрабатывают фоны-спрайты.

 

Ну вообще то тут исходной информация "адовая", то бишь практически никакая - палка палка огуречик. поэтому и результат такой.

--- добавлено 26 янв 2021, предыдущее сообщение размещено: 26 янв 2021 ---

Демонстрация апскейла с исходника тоже с малым количеством информации (170х120 22 цвета):
исходник

добавления цветов

_1x_artifacts_dithering_alsa
_1x_SSAntiAlias9x

апскейл

последовательная обработка:
_1x_artifacts_dithering_alsa
_1x_SSAntiAlias9x
_1x_JPEG_00-20
_сжатJPEG80
-GpAI422-
_сжатJPEG80
-GpAI422-
_1x_JPEG_60-80

 

@Ogr 2, с цветами хороший вариант, а вот апскейл - жесть.

 

естественно.

 

нет. жесть - это вот: человек-лев.

девяносто процентов из моделей что я обрабатывал ему заячью губу рисуют.

 

@Dimouse, Прогнал через половину моделей что у меня есть, по быстрому отобрал на глаз, Большая часть отобралась похожими. Модели которыми они обрабатывались в название файлов.
CUT

 

CUT

 

Это же по сути еще один сорт мыла, просто качественнее. Типа xbrz и super eagle.

 

Стоит ознакомиться с темой с Начала, Тут много примеров накидана До которых упомянутым фильтром как до луны раком.

--- добавлено 28 янв 2021, предыдущее сообщение размещено: 28 янв 2021 ---

@gotten, Soft - О некоторых возможностях применения алгоритмов улучшения растянутых изображений

 

Выбираю модель для спайс квест 5, Обработал несколько фонов всеми моделями что есть у меня, интересующиеся тоже могут ознакомиться: ск5.zip

 

А появилась какая-нибудь пристойная прога куда можно модели подкидывать и нормально взаимодействовать. У меня есть только такое и оно выглядит ужасно.

 

n00mkrad/cupscale

 

Я пропустил, ведь это было в ноябре 2020 г., но:

Samorost 2 - Samorost 2 Just Got a Major Update For Its 15th Anniversary - Steam News

Насколько я понял, разработчики Samorost 2 сделали бесплатный для владельцев оригинала ремастер, увеличив разрешение картинки какой-то нейросетью.

"Custom trained AI" - это же они про нейросеть, да?

 

По просьбе Обработал десяток картинок из драгон страйк большинством моделей что у меня есть, если кто интересуется может тоже ознакомиться: Новая папка.zip