Пиксель-арт и нейросети

@Dimouse, просто тут примерно так же получается, как лет 100 назад, когда появились качественные фотоаппараты. Тогда многие тоже думали, что фотография полностью заменит художников. Но до сих пор не заменила - фото не может реалистично передать игру света и тени, а также рассеянные и туманные места, облака и многое другое. Радуга получается бледной, звёзды выглядят не так, как для человеческого глаза. Если ты видел в Третьяковке оригиналы (репродукции этого не передают) картин Куинджи, который как никто детализированно умел передать игру света, особенно ночью, то ты понимаешь, что я имею в виду. Примерно так же и с пиксель-артом: нейросеть - не человек, и она не понимает, как изменить предметы, чтобы они выглядели не только более гладенько, но и оставались реалистичными. Это не значит, что нейросеть не может помочь - напротив: так же, как автоматический переводчик, который очень помогает при переводе "технических" и "канцелярско-торгово-юридических" текстов, нейросеть может помогать обработать те части изображений, что не требуют тщательного внимания к деталям. После обработки всё равно обязательно нужен художник, который сумеет понять, что нейросеть улучшила, а что испортила (например, кроны деревьев на той же 6-ой картинке выглядят щупальцами, а вместо воды появились какие-то льдины, хотя время действия точно не зимнее).

 

@ВелоВояджер, ну по-моему так и произошло, фотография полностью заменила лучших художников того времени)). Да так, что сейчас почти никто не помнит как их звали.
Зато резко сместившиеся критерии оценки вытащили на вершину известности и прославили в веках всяких имперссионистов и прочий андеграунд.
Что касается реализма, все-таки фото лучше передает реальность, просто реальность сама по себе выглядить очень серо.

У меня есть гипотеза по поводу деталей. Основным элементом в изображении являются линии. В процессе снижения разрешения линии превращаются в набор пикселей, поэтому нейросеть, совершая обратное преобразование, и пытается найти как можно больше линий. Отсюда видимо получается такой своеобразный стиль.

 

Ваша гипотеза не верна.

Изначально нейросети абсолютно не имеют предпочтения к какой-либо форме изображения/отображения (правда, есть варианты, когда заготовка нейросети берется неравномерная).
Нейросети "тренируют" правильными сочетаниями входных и выходных параметров. В случае с изображениями - набором изображений разного разрешения. Сильно упрощая, можно сказать, что в процессе "обучения" нейросеть разбивает получаемые изображения на множество мелких кусочков, выделяет подобные и "запоминает" в себе создавая внутренние связи. По завершении "обучения" состояние нейросети фиксируется. В фиксированном состоянии сеть берет исходное изображение, разбивает на кусочки, "подбирает в себе" подобные кусочки более высокого разрешения и из них составляет выходное изображения.
Таким образом, нейросеть выдает результат в том виде, на который была "натренирована".

В первом сообщении темы на исходных изображениях была использована нейросеть, тренированная на картинах. Соответственно и результат ее работы с подобием мазков краской.

Пример работы нейросети, тренированной на фото людей: Пиксель-арт и нейросети

 

Эка вы их принизили-то! Фамилии Васнецов, Крамской и Верещагин (так, для примера - их в десятки раз больше вспомнить можно) вам, наверное, ничего не говорят? А эти художники рисовали реалистично.
Если вы не помните, как звали тех художников, то вы пока ничего не понимаете в искусстве. Учитесь, пока живы! Я не особенно в нём разбираюсь - и всё равно их знаю. И судя по толпам людей, которые ходят в картинные галереи (сам когда-то выстаивал целую очередь на одну выставку: в -10 мы целый час стояли, и никто не ушёл), очень многие любят и ценят тогдашних художников.

Гхм. Вообще-то любое компьютерное изображение - "набор пикселей" (и фото, и видео). Какое бы высокое разрешение у него ни было - всё равно оно состоит из пикселей. Просто при высоком качестве они заметны только при увеличении.
Пиксель-арт - он на то и пиксель-арт, что ему не снижали разрешение (т.е. это не фотография оцифрованная). Его изначально рисовали на компьютере, представьте себе. Линии на компьютере нарисовать как раз проще всего. А вот сделать изображение хоть и с крупными пикселями, но реалистичным - очень сложно. Если просто взять и снизить разрешение в фото очень сильно - получится непонятная мешанина. А компьютерным художникам того времени требовалось рисовать так, чтобы даже в таком разрешении картина осталалась красивой.
Та нейросеть, с помощью которой редактировали пиксельные картины (очень даже красивые) из DragonStrike, стилизует изображение под "картину масляной краской", поэтому и появляются "завитки" - даже там, где их быть не должно.

 

Гхм. Не стоит забывать что зрение у человека тоже сильно фрагментировано, на глаз приходится лишь 1 миллион нервных волокон (аксонов), = один миллион пикселей.

 

@Ogr 2, да, я знаю. Это не противоречит тому, что я написал - это был ответ dSidr'у, который считает "набором пикселей" только изображения с низким разрешением.

 

Не вижу, каким образом описанные вами основы работы нейросетей противоречат тому, что написал я.
В процессе обучения сложных нейросетей во внутренних слоях образуются свои внутренние абстракции. Иногда они могут сильно напоминать те, которыми мыслит человек.
Линии, прямые и не очень, это общее свойство любых изображений, и видимо в том числе тех, на которых обучалась данная сеть. И к слову на более качественных изображениях как правило эти линии на границах различных объектов четче.
Если честно, я никаких мазков краской не увидел, зато увидел попытку нарисовать вместо волн волосы и вместо выпученных глаз сощуренные щелочки.

Очень слабый аргумент.
К тому же если бы меня попросили назвать художников столетней давности, то тоже "не особо разбираясь" я с большой вероятностью никого из этих и не вспомнил.
Ну и общая тенденция живописи как раз примерно с тех времен по моим сугубо личным ощущениям идет в сторону от_реализма, что намекает.

Тонко подмечено. Кстати внимательный читатель заметил, что я в своих рассуждениях исходил именно из этого. НО. Для обучения нейросети нужен "оригинал", которого никогда не существовало, верно?
Тезис про набор пикселей в любом компьютерном изображении я не понял. При достаточном разрешении восстановить любые контуры и линии можно без проблем формализованными алгоритмами, нейросеть сумела увидеть даже очень тонкие места. В том числе там, где линий для человека, имеющего представление о свойствах изображенных предметов, не должно быть. Либо они должны иметь другую форму.

 

А я увидел вместо волн лёд, а вместо обычных европейских глаз драконьего наездника - какого-то корейца.

Это говорит лишь о вашем невежестве, которое вы зачем-то распространяете на других.

Не-а, не идёт. Абстракционизм был наиболее популярен лишь до середины ХХ века, а потом многие вернулись к реализму. Только не к фотографическому реализму (который на самом деле не особо реалистичен, т.к. ограничивается возможностями фотоаппаратов), а к реализму, приближенному к человеческому зрению.
А на что "что намекает"? Вы не дописали.

Я внимателен, но что-то не заметил, что вы исходили из этого.
Для обучения нейросети в случае обработки изображений нужна КУЧА этих самых изображений. А что вы подразумеваете под "оригиналом"? Для изначально компьютерного изображения это будет файл этой картинки. Для обычной картины - эта картина.

Пиксель - это сокращение от "элемент изображений" (pictures element). Означает он наименьшую часть любого электронного изображения - всё равно, какое у него разрешение. На экране при большом увеличении (а если разрешение маленькое, то и при небольшом) выглядит как цветной квадратик.

 

Собрался было отвечать развернуто, но когда дочитал до этого места, понял что аргументированная дискуссия бессмысленна.
Напишу только про то что "я называю "оригиналом"" - это совершенно необходимый образец, который должен показать нейросети в процессе обучения, к чему она должна стремиться, на примере "был пиксельарт-стало это".

 

Можно подсунуть аналогичную работу художников (Ларри Элмор тот же), под которую и должен стилизоваться результат, благо уж по Драконьему Копью таковых предостаточно. Более того, судя по всему - с него и рисовалось.



Кстати, было бы забавно сравнить стилизации одной и той же картинки - но одну под Элмора, другую - под Валежо, к примеру.

С точки зрения растровой графики.

Но есть ещё и векторная, где как раз можно худо-бедно разбить изображение на хоть какие-то логические отрезки (кривые), и далее работать уже с ними. Здесь, вероятно МОЖНО при желании найти определенные закономерности - если, конечно, анализировать оные не маленькой головкой человека, а гигантским математическим аппаратом.

А вообще рекомендую всем желающим ознакомиться с проектом "Толока" Яндекса. У меня такое чуйство, что яндексовцы пытаются тупо "натаскать" какие-то свои алгоритмы, ТУПО наняв им в учителя миллион китайцев школьников людей, согласных работать "за еду". По крайней мере, большинство заданий оттуда оставляют именно такое чувство. Видимо, это и есть наиболее реальный на данном этапе развития технологий путь - целая куча юзеров, которая смотрит конкретную картинку и оценивает - "получилось" в целом - или нет.

 

Вряд ли.
То есть, наверное это теоретически возможно, только для анализа подобных параллелей потребовалась бы очень жирная нейросеть и нереальное количество обучающего материала.
Ну и полученная нейросеть отличалась бы очень вольным трактованием исходной картинки, чего мы не видим.

 

Так вы ж несколько раз повторили "я не понял", потому я вам и разъяснил попонятнее. Получите-распишитесь))

 

А можно скриншотик этой картиночки? Вслепую получилось дойти только до такого)

 

@AxXxB, у нас еще в Бюро завис перевод амижной игры из-за крайне хитрого сжатия графики, если посмотрите, буду премного благодарен.

 

@OLD-NEW Player, да нет, картинки надо поменять местами. Тогда будет именно так, как видит старые игры человек с близорукостью, если без очков. Говорю как тот, кто так несколько раз пробовал делать - играть в крупнопиксельные игры на полном экране, но без очков . Кстати, сейчас снял очки, и обе картинки выглядят одинаково сильно размыто . Так что для нас, очкариков, весь окружающий мир - "мыльное кинцо", если очки потерять.

--- добавлено 30 июл 2021, предыдущее сообщение размещено: 30 июл 2021 ---

Проблема с этими нейросетями, например, в том, что в пейзажах они убирают все острые грани и прямые поверхности. У меня от этого возникает впечатление, что горы так покрыты слизью или чем-то подобные. Всё гладко-закрученное.

 

На обработанной картинке строение по центру безнадёжно испохаблено.

 

Собственно, наглядный пример того, что все эти нейросети к ИИ никакого отношения НЕ имеют вообще.