Мой апскейлер. Оказывается, 320x200 - это не так уж мало.

Просто делаю AA+Bloom фильтр на Keras. Хуже? Может, с другим фильтром сравнить.
Кстати, могу дать без Bloom. Bloom на testing set не очень.

Вот как будет, если waifu2x применить после.
Признаюсь честно - лучше бы я не писал.
Раз уж написал - подкрутил в gimp. А именно апскейл nn 2x оригинала и выхлопа, копирование двух последних wavelet слоёв с оригинала на выхлоп, размытие последнего, nn 2x даунскейл.

Поправил скрипт, теперь даёт те же результаты, что и gimp. Даже глаже, потому что смешивается с aa, а не оригиналом.



Чистый keras+pywt.

Я ничего не напишу как минимум месяц.

 

Простите, месяц ждать не могу. Есть сеть, которая даёт большую резкость, так же удаляя шум.

--- добавлено 13 май 2018, предыдущее сообщение размещено: 13 май 2018 ---

Код:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from __future__ import absolute_import
from __future__ import division
from __future__ import print_function
import os,gc,random,sys
gc.enable()
from os.path import splitext,relpath
from PIL import Image
import matplotlib.pyplot as plt
import numpy as np

gc.collect()
np.random.seed(7)
try:
  from pathlib import Path
except ImportError:
  from pathlib2 import Path

from keras.models import load_model
model=load_model('par-сnn.h5')

i=0
for root,dirs,files in os.walk('/zip/Superres/320x200/'):
    for fname in files:
        i+=1
#        if i>16:
#            break
        gc.collect()
        png=os.path.join(root,fname)
        pngo=os.path.join('/zip/Superres/Neural4/',relpath(root,'/zip/Superres/320x200/'),splitext(fname)[0]+'.png')
        print("New file:", png, i)
        im=Image.open(png).convert('RGB')
        inp=np.array(im)[None,:,:,:]/255.0
        res=model.predict_on_batch(inp)[0]
        Path(os.path.join('/zip/Superres/Neural4/',relpath(root,'/zip/Superres/320x200/'))).mkdir(exist_ok=True)
        Image.fromarray((res*255).astype(np.uint8)).save(pngo)
        del inp
        del png

Ещё это: marcan/cl-waifu2x

 

сейчас обнаружил что в RetroArch есть подобный, но реалтаймовый фильтр. если кому интересно, NEDI называется:
CUT

 

Божешь ты мой , какая же дичь все таки

 

@bckpkol, картинки в этом сообщении очень симпатичные, хотя и размыто немного выглядит. Но главное -- скрадывается проблема с прямыми линиями под любым углом кроме 45, которые скейлеры обычно совершенно не умеют обрабатывать.

Можете сделать что-нибудь из спрайтов персонажей в Daggerfall?

 

Daggerfall? Посмотрю.
BTW, я делаю сеть ещё глубже.
Оригинал

par-cnn

par-ducnn

par-ducnn+unsharp

И есть идея совместить эти сети. Размыто получается потому, что я тренирую с gaussian noise слоем.
Люм

О, оригинал забыл.

Сеть чувствительна к уровням.

--- добавлено 29 май 2018, предыдущее сообщение размещено: 29 май 2018 ---

Вот. Простите, но такие крупные пиксели редко бывают на фотографиях. Попробую другой фильтр.
Попробовал. В GIMP на глаз.


Последнюю скормил сети.

Добавлю ещё - недавно я узнал о CycleGAN. Преобразует фото в рисунок и обратно. Я вот что подумал. Можно снять видео из двух разных игр одного жанра и разного возраста кодеком ZMBV или Fraps, выдернуть кадры и скормить их CycleGAN. Тогда каждую из этих игр можно перевести в стиль другой. С GTA так уже сделали.
One trick I didn't thought of.



Та же техника.

Ogr, это NNEDI. И я не уверен... а может, мой тоже рилтаймовый?
И у меня не апскейлер, а AA.
Кстати - сравнил ещё раз parcnn и nnedi. Никакой разницы, но NNEDI крупнее. У меня, правда, ещё полноцветность восстанавливает, но на 256 цветах не заметно.
Новая сеть, кстати, отличается от старой только цветом крупных объектов вроде неба. Ну и ей требуется нерезкая маска.
par-ducnn+waifu2x
par-cnn+waifu2x

Всё-таки новое не всегда лучше.
par-cnn это 17x17 фильтр. Если я собирался сделать больше, я должен был либо честно увеличить число классов, что невозможно, либо хитрить больше, чем я хитрил.

 

Прошу прощения, что не уточнил, я имел в виду преобразование исходных спрайтов, снимки из игры неизбежно будут показывать персонажей в увеличенном или уменьшенном виде.

 

@MrFlibble, демонстрировать апскейлер (или даунскейлер, или что там) в оригинальном разрешении — это какой простор для фантазии.

 

Сеть с меньшим ringing. Как вариант.

paracnn code

Код:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from __future__ import absolute_import
from __future__ import division
from __future__ import print_function
import os,gc,random,sys
gc.enable()
from os.path import splitext,relpath
from PIL import Image
import matplotlib.pyplot as plt
import numpy as np

gc.collect()
np.random.seed(7)
try:
  from pathlib import Path
except ImportError:
  from pathlib2 import Path

from keras.models import load_model
model=load_model('par-acnn.h5')

i=0
for root,dirs,files in os.walk('/zip/Superres/320x200/'):
    for fname in files:
        i+=1
#        if i>16:
#            break
        gc.collect()
        png=os.path.join(root,fname)
        pngo=os.path.join('/zip/Superres/Neural5/',relpath(root,'/zip/Superres/320x200/'),splitext(fname)[0]+'.png')
        print("New file:", png, i)
        im=Image.open(png).convert('RGB')
        wp=(8-(im.size[0]&7))&7
        hp=(8-(im.size[1]&7))&7
        inp=np.pad(np.array(im),((0,hp),(0,wp),(0,0)),'edge')[None,:,:,:]/255.0
        res=model.predict_on_batch(inp)[0,:im.size[1],:im.size[0]]
        Path(os.path.join('/zip/Superres/Neural5/',relpath(root,'/zip/Superres/320x200/'))).mkdir(exist_ok=True)
        Image.fromarray((res*255).astype(np.uint8)).save(pngo)
        del inp
        del png

Докладываю - наснимал из Люма 100 картинок для train set. Из каких ещё игр взять? CycleGAN требует два сета, со старыми играми и каким-нибудь артом по теме.
Лажа. par-cnn действительно чуть-чуть сглаживает углы, а вот par-acnn нет. Overfitting .

Until CycleGAN player enter, game will never be over.
So far 331 screenshot mined. And the music from Hand of Fate is driving me crazy in a bad way. I believe Klepacki stole music for first Kyra from tracker composers. Christophori had a tracker module similar to him.
The music is always bad in sequels, anyway.
Broken Sword is next.
Ещё раз про HoF. В MT-32 тоже отвратительно. Надеялся, что плохо подобраны инструменты. Нет, плохо само по себе. Зато туман классный, и псевдо-3D.
А в Broken Sword музыка всегда к месту играет.
How about...



11.06.18 Наконец-то я начал тренировать CycleGAN. Пайтон съел 14 гигабайт свопа. Скоро закончится первая эпоха. Если будет фэйл, всё равно выложу.
12.06.18, ночь. После первой эпохи.

Оригинал:

Во второй эпохе самая приличная картинка:


Ещё из второй эпохи.


Do androids dream of electric sheep? That's more.

 

Третья эпоха.

CycleGAN в пришельцах видит людей, в лужайке автодорогу. Вспоминаются слова:
"Neural networks are as good as their training data"
Четвёртая эпоха. Стало лучше. Компьютер сдыхает.
Lighting and tonemapping are key differences between good and bad CG.

 

par-latest

Код:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from __future__ import absolute_import
from __future__ import division
from __future__ import print_function
import os,gc,random,sys
gc.enable()
from os.path import splitext,relpath
from PIL import Image
import numpy as np

gc.collect()
np.random.seed(7)
try:
  from pathlib import Path
except ImportError:
  from pathlib2 import Path

from keras.models import load_model
model=load_model('par-whatever.h5')

i=0
for root,dirs,files in os.walk('/zip/Superres/320x200/'):
    for fname in files:
        i+=1
#        if i>16:
#            break
        gc.collect()
        png=os.path.join(root,fname)
        pngo=os.path.join('/zip/Superres/Neural5/',relpath(root,'/zip/Superres/320x200/'),splitext(fname)[0]+'.png')
        print("New file:", png, i)
        im=Image.open(png).convert('RGB')
        wp=(8-(im.size[0]&7))&7
        hp=(8-(im.size[1]&7))&7
        inp=np.pad(np.array(im),((0,hp),(0,wp),(0,0)),'edge')[None,:,:,:]/255.0
        res=model.predict_on_batch(inp)[0,:im.size[1],:im.size[0]]
        Path(os.path.join('/zip/Superres/Neural5/',relpath(root,'/zip/Superres/320x200/'))).mkdir(exist_ok=True)
        Image.fromarray((res*255).astype(np.uint8)).save(pngo)
        del inp
        del png

Самый экономный и лучший из моих фильтров.
Осторожно - данный фильтр очень сильно размывает. Советую увеличить изображение в два раза до обработки.

Я бросил CycleGAN, потому что 5 эпох заняли 5 дней, а всего их 200.
Если у кого есть 16 гигабайт ram, 4 vram и желание попробовать, прошу в тему.