конверсия mp3 в цветовую гамму

хочу реализовать некоторую идею из повести И.Ефремова "Час Быка", в которой упоминается, что звук (в том случае песни, стихи) можно представить в виде цветовой гаммы..никто не пробовал? как примерно возможно преобразовать mp3 файл в графический формат? откуда начинать копать?

 

Зависимость частоты от времени, не помню как называется, умеет (или умел?) отображать sound forge

 

Johnikum
это есть анализ спектра, производится преобразованием Фурье. алгоритмов его реазизации не так уж мало. наверное, наиболее удобным является быстрое преобразование Фурье.

 

Попробуй плагин написать для винампа.
Там все уже имеется: и спектр и сам сигнал в виде массива.

Самое сложное это сделать так, чтобы все это красиво смотрелось при большинстве песен)

 

я имею не визуализатор типа винамповского, а так: конвертим мп3 трек в jpg изображение, на котором видим цветовой спектр по все длине трека, тоесть каждому звуку противопоставляем такой-то цвет
извиняюсь за кривое объяснение..

 

http://ru.wikipedia.org/wiki/Audiosurf

 

RamMerLabs

фурье это понятно, я не это имел ввиду.
я имел ввиду: график зависимости частоты от времени - сонограмма /вспомнил /


SoulSain

в таком случае, что понимается под словом "звук"?

 

Johnikum
сонограмма строится через Фурье.

 

Pavia, я и не говорил, что фурье не используется

 

Звук - колебания воздуха с заданной частотой и амплитудой.
Свет - электромагнитные колебания с заданной частотой и яркостью.
Вполне можно найти коэффициент масштабирования такой чтобы диапазон частот слышимого звука проэцировался на дипазон частот видимиго света. Аналогично выбрать коэффициент для амплитуды/яркости.
Есно частоты получать через Фурье и затем смешивать соответсвующие им цвета в той же пропорции.
Правда Фурье корёжит звук (превращая непрерывно меняющиеся частоты в дискретные блоки с постоянным набором частот), но это терпимо... Хуже то, что мониторы не вопроизводят чистые цвета (их можно посмотреть в спектрографе и их отличие от мониторных впечатляет , а потому на экране будет "смесь смесей", способная угробить гармонию соответсвующего ей звука...

 

вот-вот..именно то, что я хотел выразить

 

Э.. Вообще неочень ясно чего ты хочешь. Ну например в цифре звук обычно занимает 16 или 8 бит. Берешь придумываешь как эти разряды разместить в RGBшнм трехбайтовом слове (как угодно можно), потом смотришь сколько секунд длится звук, берешь умножаешь на частоту дискретизации получаешь сколько у тебя будет отсчетов. Берешь квадратный корень из них например и получаешь длину стороны квадрата (картинка квадратная) и начинаешь заполнять эту квадратную матрицу пикселями с цветами, которые получились из отсчетов звукового сигнала. :-D

 

У... На эту тему надобно курить не Фурье, а Пифагора с его теорие гармонических сочетаний в звуке и цвете.

 

А что конкретно хочет увидеть ТС? Цветной мгновенный спектр во времени - это статичная картинка, причем не то чтобы красивая. Можно посмотреть в любом звуковом редакторе, типа soundforge/cooledit.

 

еще можно переводить бинарники в digital noise
ps: извиняюсь за оффтоп.

 

GoldFinch

Без чтения первоисточника до этого догадаться непросто. Поскольку я первоисточник читал, предполагаю, что это должно быть что-то вроде изменчивой абстрактно-геометрической живописи, подстраивающейся под настроение музыки. Потому и рекомендую автору темы поискать в сторону Пифагора с его геометрическо-оптическо-музыкальными изысканиями. А всякие фурье-шмурье и попытки механически привязать высоту звука к длине световой волны - это очевидно и крайне банально, будь в этом хоть немного пользы - это было бы сделано ещё в прошлом тысячелетии.

PS Во! Фтыкнул правильную аналогию. Требуется придумать алгоритм, создающий аналог визуального сопровождения концертов Жан-Мишель Жарра.

 

Литература предназначена для того чтобы ее читали, а не пытались воплотить в жизнь.
Подбор видео-ряда под музыку - задача творческая, и возможно не может быть осуществлена машиной.
Тем не менее, "что-то вроде изменчивой абстрактно-геометрической живописи, подстраивающейся под настроение музыки", уже реализовано в виде визуализаций аудиоплееров. Разумеется, там не анализ "настроения музыки", а рандом+анализ параметров сигнала, но надо еще доказать, что "настроение музыки" можно определить. Можно вместо конечного сигнала взять "исходник" - ноты, но даже так, не факт что машина может проанализировать ноты и выдать чтото стоящее. Может поможет применение алгоритмов распознавания. Так или иначе, не думаю что ТС может решить эту задачу. Разве что организация типа Фраунгофера, лет этак за десять.

 

Верно подмечено. Возьмите пресловутый Winamp с его Visualization.

Затык тут совсем в другом. Восприятие "настроения в музыке" -- процесс зависящий в том числе от t, т.к. это накопление дискретных (звуковых) сигналов и формирование суммарной картины в мозгу.
Совсем поверхноство -- это восприятие слуховыми органами деформаций пространства определённой природы во времени, фактически в 4х мерном пространстве. Автор поставил задачу отобразить эту функцию на 2мерное пространство -- в двумерную плоскую картинку. Это уже какой-то искусство, как возможно передать в таком случае динамику/ритм/такт... Ничего однозначного тут получить невозможно.

Если же задача просто получить какую-то "красивую картинку-карту" mp3 файла, то это задача одной функции с аргументами в виде любой характеристики звука и результатом в виде кода цвета. Помимо этого потребуется только установить соотношение координатных систем звукового файла и плоскости картинки, но это в простейшем случае простая "звуковая дорожка".

 

Раз уж затронули винамп, и визуализацию,...

кто какие знает толковые плагины под него для визуализации?
или вообще для другого плеера

пишу свой, хочу для сравнения

 

W4FhLF

...покрасьте и выбросьте. Winamp сам по себе угрёбищный плеер, но песня даже не о том. Все эти визуализации очень недалеко ушли от "светомузыки" 80-х на трёх лапочках, покрашенных лаком для ногтей. Хотя для дискотеки или "поющего фонтана" и это вполне канало.