Анализ и распознавание звуковой и графической информации

A.P.$lasH

Выделено из темы по GBS:
http://www.old-games.ru/forum/showthread.php?t=59696

Лет 20 назад была софтинка для поиска звука в файлах. Показывала на экран а-ля GBS и гнала на ковокс (м.б. и на что-то ещё, но у меня кроме ковокса ничего не было) с разными битностями и скоростями, а пользователь уже на глаз и слух ловил - музыка это, речь или вообще не звук. Позволяла легко искать сжатые архивы - именно по отсутствию регулярности: всякие .zip'ы и .arj'и звучали добротным таким белым шумом. А всякие регулярности, соответственно, отзывались свистом, воем и гулом. Удобно! :-)
Интересно, а сейчас что-то похожее есть?

 

Можно же сделать частотные характеристики для разных типов и смотреть, где и чего, пытаться автоматически классифицировать. Если совсем рандом, то сразу маскировать как "нерассматриваемое", все остальное прогонять через FFT/вейвлеты (врочем, ими же частоты мы скорее всего и считали) и рисовать красивые диаграмки. Проблема тут в том, что даже если это чистый PCM, но скажем с перевернутым порядком байт (даже не бит!), то при прослушивании это будет, мягко говоря, не речью. Сюда же отнесем тысячи разных ADPCM, вроде брать и играть можно сразу, а такая компрессия будет слышна как шум. В отличии от RLE-компрессии, где как раз куски изображения проступают и должны быть слышны свисты. Вообще, я к своему стыду о таких программах не слышал, да и разбор приложения будет сопоставим с прослушиванием дискографии Мерцбау, к концу дампа желания что-то делать будет мало.

 

Рыжий Тигра, game audio player, я все данные отслушал им в игре противостояние от доки.

в GBS единственное что раздражает, это обновление экрана, двинешь ползунок и всё сбивается, искать затрудняет.

 

Возьмите кассету с программами для спектрума и попробуйте на слух разобрать чего какой звук значит. Что интересно - действительно кроме пилоттонов можно выделить например неупакованный образ экрана или сжатый блок данных.

 

Ну, так я ж об чём! Основная идея как раз и была - использовать уже готовый сигнальный процессор у нас между ушами, самой природой по-дарвински отточенный (экземпляры, которые на слух не отличали шелест листвы от свиста змеи или шороха тигра, жёстко отсеивались). Да и технически проще написать скармливалку данных ему, чем анализировалку.

Ну, что-то да пробьётся - старшие байты зазвучат сквозь белый шум младших... Но согласен, какой-то переключатель битности не помешает. А галочка "дельта-модуляция" (в смысле - считать каждый отсчёт не самостоятельным, а дельтой) вряд ли особо нужна - капитально просядут басы и средние, но отличить музыку от не музыки и м.б. даже угадать мелодию будет ещё можно.

Это да, тогдашняя софтинка жевала от силы мегабайтное файло с дискет, слушать таким макаром полный компакт вряд ли у кого достанет терпения. :-(

Не то. :-( Я так и не нашёл, как скормить ему пятимегабайтный .tre-файл от WC4. И даже выдранный оттуда IFF с мегабайтом .wav'ок и полусотней байт заголовка скормить gap'у не удалось - попросту не принимает в playlist, хоть тресни. Согласился скушать только когда я этот .iff подсунул ему в графу "scan file" и он там увидел .wav'очные заголовки; но на куа мне тогда такой плеер - выдиралку .wav'ок по заголовкам я и сам написал а дальше обычного CoolEdit Pro хватает.
А заставить gap проиграть сырые данные так и не удалось. :-(

О, мсье знает толк в извращениях! :-) Но это не совсем то, там модуляция хитрая, межушной сигнальный процессор никогда с такой не сталкивался. :-(

 

да ? а я привык тексты таким образом читать не загружая в компьютер... и картинки смотреть. Очень удобно и компактнее, чем аудиокниги. Да и музыку так хранить и слушать удобнее - ни один копираст не докопается. ;D

А ещё можно обратную софтинку наклепать - что бы ты там посвистел и похрипел с нужной частотой и у тебя сразу исходники или скомпилированный код образовались !

Правда так уже умеют андроидные смартфоны, но это не беда.

 

Кстати, давно известно, что читающие быстро (страницу за несколько секунд) и внимательно (не каждое пятое слово, см. рассказ Лукина "Двадцать пятая строка") воспринимают хорошие тексты как кино. Сами себе дорисовывают и картинку, и стереозвук. Я здорово удивился, когда узнал, что остальные так не умеют. :-(

Факт! И башлять режиссёру, чтобы экранизировал, не надо. :-)

Подууумаешь, геном Лукьяна. Так каждый модем может. А вот над обратной задачей - снятый камерой видеоряд со звуком разбить на графические и звуковые примитивы, чтобы их параметры передать по телефонному (!) каналу и на том конце обратно собрать в кино неотличимое на глаз от оригинального, - лучшие программисты бьются не первый десяток лет и лучшие процы пыхтят сутками над каждым кадром. А наши волосатые предки научились такое делать ещё полста тыщ лет назад (а ходят упорные слухи, что и миллион лет назад), пользуясь способом упаковки видео и звука под названием "речь". Не веришь - поищи записи Вадима Синявского, Владимира Маслаченко или Николая Озерова (пример последнего есть в фильме "Весёлое сновидение, или Смех и слёзы), убедись! :-) Ну, или вспомни фишки под названием "словесный портрет" или "фейкодер".

Легко! Как только захочешь с кем-то поделиться или просто ненароком напоёшь - значит, таки держишь левую копию на межушном накопителе. См. страшненький рассказ Татьяны Кигим "Чужая машинка". :-(

 

Рыжий Тигра, маленький лайфхак для GAP, переименуй или добавь еще одно расширение файлу .RAW и вуаля, он научился работать с RAW))

 

Слу-ушайте, а давайте я вас в отдельную тему выделю?

Как-то оно не очень вяжется с GBS. Сделаем во флейме "Гипотетические методы анализа звуковых и графических данных", м?

 

A.P.$lasH, никакие не гипотетические методы, а самые практические, я три дня слушал все ресурсы из противостояния с различными настройками битности, знакности и частоты дискретизации. И на слух нашел звуки, на слух определил границу служебной инфы и идущего блока звука, было забавно. Вспомнил спектрум сразу и модемы.

 

У спектрума была простая модуляция, поэтому последовательности ноликов и единичек очень хорошо воспринимались на слух. Я отличал не только экранные картинки, но и звуки экранной палитры. Ну там индексы всякие в конце игр можно различить, но это уже зависело от конкретной игры, сколько ее слушать.

Что же касаемо переставления байт - не согласен, знал это еще когда писал свой первый софт для работы со звуком. В приложении есть пример, где мой голос можно различить только в местах вздохов между фразами (т.е. в моментах низкой амплитуды). Если такое попадется в бинарнике, то локализовать/понять будет сложно. А если мы еще и семплрейт не знаем, или скажем каналов количество, тогда вообще труба.

 

(вздыхает) Давно пора. :-(

Угу. С нуля такое скомбинировать с GBS'ом было бы полезно, а втыкать костылём в уже имеющийся - увы. :-(

 

Ваши методы в полной мере в виде программы не реализованы. Вы мечтаете о сферическом софте в вакууме.

И никто не против. Просто это корректнее делать в отдельной теме.

 

Только написал сообщение про тупого самовлювлюбленного , из-за которого я должен репостить уже отправленное сообщение, как он таки своизволил перенести и его. Лично я писал строго по теме, а снисходить до "котиков" и "поздравляшек" не собираюсь, желаю оставаться с этим .

A.P.$lasH

Лексикон я вам почистил, а так - на здоровье. Пускай другие решают, что с вами делать.

 

Я тоже таким увлекался.



Мне просто кажется, что огромный теоретический комбайн в этом случае не особо и нужен - важно ведь определить смещения, а дальше всё равно придётся загружать IDA.

 

можно сразу загружать в IDA, ловить адреса портов, локализовывать процедуры вывода звука, искать к ним обращения и смотреть как там кодируются данные. Времени даже меньше уйдёт, зато домашние врача не вызовут, а соседи местное кгб.

Самое основное - правильно расставить приоритеты. А то ведь можно звук заменить цветом (цветомузыка же) и по цветовым пятнам определять местоположение информации в файле и её тип. А ля "Богатырская симфония" !

ЗЫ. "Психоделический хак" - самое лучшее название для этой темы.

 

Амнистию jodesaceg'у!

Цвет лучше заменить спектром, как jodesaceg намекал. Уважающие себя звукоредакторы умеют и спектр, и даже войс-принт; глазами после пары десятков минут тренировок музыка от речи и речь от шума по войс-принту определяются, прослушать можно на лету, остаётся доваять плагин с GBS-подобным выводом байтиков цветом - и золотой ключик у нас в кармане. :-)

---------- Сообщение добавлено в 14:14 ---------- Предыдущее сообщение размещено в 14:06 ----------

С незнанием количества каналов столкнулся как-то под CoolEdit Pro. Частоту дискретизации подобрал, звучало в принципе нормально, но присвистывало/пришепётывало. Глянул войс-принтом - охренел: нижняя половина спектра нормальная, а верхняя - почти зеркальное отображение нижней. Оказалось, что это был не моно 44100, а стерео 22050. Прикольно. :-)

---------- Сообщение добавлено в 14:28 ---------- Предыдущее сообщение размещено в 14:14 ----------

2 All: предлагаю требовать у модератора амнистии jodesaceg'у, а как последний появится в теме - накидать ему по шее общественного порицания и продолжить конструктивное обсуждение.

 

над формой регистрации этого форума уже некоторое время висит: "Оставь надежду всяк сюда входящий !" вместо ознакомления с правилами. Так что щутка-юмора смешная, да.

думаю, что он или с готовой программой через месяц появится или с букетом таких выражений и ником в которых без спектроанализатора и не разберёшься.

Кстати, почему то, возвращаясь к теме, подумалось, что до сих пор никто не оставлял на форуме посты голосом.

 

INHELLER оставлял.
http://www.old-games.ru/forum/showthread.php?p=1027397#post1027397

Geryon тоже, но файла уже нет.
http://www.old-games.ru/forum/showthread.php?p=948811#post948811

Как хотите. Сократил до месяца. Меньше у нас нельзя - два сообщения подряд было.

II.3 - Запрещено использование ненормативной лексики.

Мои знакомые хулиганы говорят - перебор.

Нельзя у нас общественное порицание устраивать.

IV.2 - Пользователям запрещается комментировать действия модераторов или нарушения пользователей.

А вот это дело

 

Тююю, это ж неудобно. Хуже скайпа. :-( И контекстный поиск на такое не распространяется. :-(

---------- Сообщение добавлено в 15:40 ---------- Предыдущее сообщение размещено в 15:37 ----------

Offtop

(вымерший во мне Макаренко неуютно вращается ротором в гробу)