Нейросети и прочие ИИ

Спорим у пианистки было семь пальцев.

Но вообще круто. сразу и не скажешь, что нейросеть не генерировала. Скоро действительно дойдем до того, что придется показывать весь процесс создания контента, что бы не обвиняли в нейросетефилии.

 

Нашел новую топовую модель для Stable Diffusion, называется BeMyPony-SemiAnime2, скачать можно тут. Я много сравниваю разные модели, и у этой количество брака в разы ниже, чем у остальных, меньше только по прежнему у Toonify, но она по детализации проигрывает абсолютно. Когда-то похожее удивление у меня вызвал AutismMix, но эта прям в разы лучше и креативнее. Совместимость с лорами очень хорошая.

А вот новый Atomix Pony XL у меня затестить не удалось, он слишком разросся в размере и даже все мои супер-оптимизации потребления видеопамяти в разы (напомню, это параметры --unet-in-fp8-e5m2 --vae-in-fp16 --clip-in-fp8-e5m2) не смогли уместить его в мои 6 ГБ, при использовании оперативки же у меня генерируются черные квадраты даже с sdxl-vae-fp16-fix.

И еще такую черную магию нашел - в параметрах сэмплера webui-forge есть функция "Always discard next-to-last sigma", у меня она прям сильно улучшила качество картинки без каких-либо минусов, возможно из-за использования мной fp8. Больше всего эффект заметен на сэмплере Euler a Karras. У меня с ней стали получаться клевые картинки уже на 10 шагах, иногда даже лучше, чем на 20, самому не верится. Если говорить конкретно, она убирает "артефакты", они же "куски мазни", не знаю как еще назвать, кто генерил сам, поймет, о чем я.

 

Suno AI всё же интересная штука. Скормил ей простенький текст своего авторства и получился потенциальный саундтрек для Doom:

Никому не нужные подробности

Да, я текст этой песни писал вечером после нервного срыва. Несколько дней подряд будто чёрная полоса не прекращалась. То в 30-градусную жару после работы оббегал пару взаимоудалённых банковских офисов просто чтоб меня ни в одном из них не обслужили из-за огромных очередей, то на работе меня попрекают в ничего не делании, хотя до этого полтора года систематически ломали то, что я для них писал, ещё и количеством написанных строк кода попрекать пытаются.

Никому не нужные подробности 2

Майкрософтовский генератор картинок чёт не любит оружие. Он наотрез отказался генерить злого человека с огнемётом, а после замены огнемёта на газовую горелку сделал вот это вот:

 

@Sintakens, Цензура ж, она и в нейросетях цензура.

А мне вот никак не удается от нейросетей получить какую-то эмбиентную музычку для фона в игрушке одной. Обязательно в каждой сгенерированной мелодии негросеть фальшивит.
И использовать такой результат просто невозможно. Конечно можно было бы как-то обработать этот результат, но я с рождения туг на ухо.

И так со всем, что нейросети делают. Хочу красивый задний фон под киберпанковскую заставку, получаю результат, в котором самому нужно кучу правок вносить.
Нужны простенькие модельки - еще хуже, ибо переделывать то, что нейрогенератор нахимичил дольше, чем самому сооружать.

Даже простейшие текстуры бесшовные не может без ошибок генерировать.

И самое смешное, что за посредственный результат просят бабки.
Я разочарован.

 

Кстати, вот тут упомянали Gen-3 Alpha на предыдущей странице. Еще слышал, что скоро будет некая Sora. В связи с чем есть вопрос, вот на видео с демонстрацией подобных нейросетевых генераторов видео видел, что все видео, которое они генерируют сделано в фотореалистичном стиле. Я так понимаю, аниме там будет делать нельзя? Вот у Stable Diffusion есть для этого разные модели. Но Stable Diffusion можно и локально запустить, а эти наверно можно будет использовать только удаленно? Если только удаленно, то со своими моделями наверно не будет таких широких возможностей "побаловаться"? Да и для тренировки модели для видео, наверно нужно будет сильно больше ресурсов.

Кстати, это ссылка на скачивание. А нет ли ссылки на страницу модели? Просто хочется посмотреть на примеры изображений, которые с помощю нее получаются.

 

Вообще, я расчитывал, что желающие просто загуглят название. BeMyPony - BeMyPony-SemiAnime2 | Stable Diffusion Checkpoint | Civitai

 

Там несколько моделей с BeMyPony в названии, и чтобы узнать какой именно BeMyPony-SemiAnime2, нужно оптыкать их все…

 

ИИтоги июня 2024 г.: все жанры, кроме скучного

 

А что-нибудь появилось для _обработки_ звука? Т.е. не написание новых компиляцией предыдущего опыта или перепевка чужих песенок, а обработка звука для его улучшение. Восстановление поврежденной музыки (как фотографии сейчас реставрируют полуавтоматически), или генерации улучшенных аудиосемплов, взамен оригиналов 8бит\8гц (т.е. если там какой-то отдельный музыкальный инструмент, то чтобы можно было заменить звучание на аналогичное с хорошим звуком).

 

- нейросеть текст писала.

--- добавлено 11 июл 2024, предыдущее сообщение размещено: 11 июл 2024 ---

@Tigoro, Есть сервисы, устраняющие шум. Не пробовал, скажу честно. Вот типа такой:
Auphonic

Фз, на кой черт нужна для этого нейросеть, когда раньше обычным софтом можно было справится.

Masterchannel – The Best Sounding Mastering AI
Есть такая вот нейросеть. Опять - не пробовал (у меня музыкального слуха нет с рождения, что бы с музыкой работать). Возможно, это то что нужно. А может и нет.

На деле таких сервисов множество. Вот только работают они, как генераторы моделек - проще с нуля все сделать правильно, чем за нейросетью потом переделывать.

Вообще я сам ищу нейросеть (потому что бедный и не могу заплатить профессионалам), которая бы сгенерировала бы мне мелодии по предоставленному образцу. Пока не нашел. А что нашел - результат не устраивает даже такого тугоухого как я.

 

@GreenEyesMan, предпролагаю обычный шум делает на ура (то что исправляется за несколько кнопок), а сложные, где его индивидуально давить надо всплески или вовсе подменять битые фрагменты на схожие нормальные, скорее всего результататыч будет не очень ) либо по времени настройки обработки будет равносильно ручной работе с фрагментом, если не на потоке обработка, а штучная.

Генераторы не интересно, наигрался ещё с питоновскими поделками Руселя (генераторы трекерных модулей). Их Ваганыч любит обозревать, использует несколько систем для генерации музыки-текста на базе обработки баз данных, во всяком случае то что показывает в роликах, иногда попадается.

 

Существуют ли общедоступные и бесплатные сервисы, в которых звуковая дорога из кинофильма (выгруженная в соответствующем формате), преобразуется в текстовый файл (субтитров), да ещё и с временными метками? Подобных сервисов с астрономической по моим меркам оплатой нашёл множество...

 

Сервис для подбора лучшего ИИ по своим фильтрам
artificialanalysis.ai

Много разного аналитического сравнения между собой.
Можно выбирать модели по различным критериям (скорость, качество, цена и т.д.).

 

Вот это интересно:

Да это то, о чем я мечтал с того момента, как узнал о нейросетях. Главным образом интересна возможность сделать аниме на заказ. И они уже сделали аниме. Конечно по самому "содержанию" это не то. Совсем не то. Но в теории, если это взлетит, то можно попросить нейросеть запилить аниме с содержанием, которое будет по нраву. Единственное, еще не очень понятно, насколько ихняя модель справится с тем, что нужно мне.

А вот такое не подойдет?

Вот, как вариант.

 

- хм, надо попробовать, спасибо.

--- добавлено 11 июл 2024, предыдущее сообщение размещено: 11 июл 2024 ---

Я попробовал эту Суну: Suno

Короче, результат.

Ветер весело шумит, by @resoundingsilver789 | Suno
Ветер весело шумит, by @resoundingsilver789 | Suno
Ветер весело шумит, by @resoundingsilver789 | Suno
Ветер весело шумит, by @resoundingsilver789 | Suno
Ветер весело шумит, by @resoundingsilver789 | Suno
Ветер весело шумит, by @resoundingsilver789 | Suno
Ветер весело шумит, by @resoundingsilver789 | Suno
Ветер весело шумит, by @resoundingsilver789 | Suno
Ветер весело шумит, by @resoundingsilver789 | Suno
Ветер весело шумит, by @resoundingsilver789 | Suno

Я в полном акуе. Нейросеть меня взяла и переиграла. Даже без учета того, что я тупо промт никак не редактировал. Просто скинул текст пятнадцатилетней давности.

Оно еще и обложки делает, жука... обложки, Карл!

---
Фальшивит, конечно, но все равно прикольно. Зато теперь ясно, как пишут песни все эти типа авторы.
И естественно, как бы я не смешивал несовместимые жанры - нейросеть не может создать ничего нового. Никакого тебе джаза от монахов средневекового буддистского монастыря. А жаль.

ПС: косяк с "сющеными" - это мой косяк, а не нейросети. Грибцы были отпадные.

 

@GreenEyesMan, не знали про Suno? Тут просто уже как-то кидали в тему ролики Ваганыча, с тех пор смотрю его и узнаю от него про нейросетевые генераторы музыки. Кстати, насколько на этом Suno жесткие ограничения для бесплатных пользователей?

 

Спасибо за подсказку, я почему-то думал что она платная. Лимиты есть, бесплатный тариф для любителя достаточен (пока кредит назначенный не выйдет), для серьезной работе - только потыкать чтобы ) в целом, реальная угроза армии лабухов. Особенно если раньше времени тексты открывать не жалко (откроешь так в суно, а она посчитает что результат вместе с текстом принадлежит ей). Тексты генерировать не пробовал, но стихи не существующие в оригинале как песни было интересно послушать в сведенном варианте. Как думал прессеты назначить не смог, результаты разные были в целом работой удовлетворен

 

@Talking_Sword, Я на Ваганыча не подписан. У других блохеров слышал, но то что они демонстрировали - не слишком впечатлило.
Новая версия лучше. Но все равно с косяками.

Как правильно Ваганыч сказал - фиг знает, как эту шляпу использовать для музыки, настоящей, а не искусственной.

И я еще не пробовал скармливать ей просто мелодию, без текста.

В бесплатной версии ограничение по тексту - 3000 слов. Вполне хватает для короткой песни в три куплета.
И делает всего два разных файла на выбор.

На права текстов мне плевать - я копирайтозом не болею. Пусть уСуну все права за собой оставляет и текста распространяет.
Можно даже написать какой-нибудь тупенький текст революционного посыла - что бы народец потешить.

Кстати, сейчас в голову пришло как можно использовать эту шляпу: например для реализации в компьютерной игре (кто о чем, а вшивый о бане) какого-нибудь клубака, бара или подпольной рэп читальни. Что бы не платить кучу барышей за использование авторских песен.
Берем любое классическое стихотворение, на его основе делаем текст (прямо как я в примере), классики умерли - им все равно, а их произведения пока еще бесплатны.
И вот тебе атмосфера какой-нибудь локации с абиентным саундом. Удобно.