Всем привет. Создавая музыку, я видел много разных виртуальных инструментов и эффектов. Одним из интереснейших эффектов является вокодер, который позволяет промодулировать голос и сделать его например похожим на голос робота или что-то в этом духе. Вокодер изначально использовался для сжатия речевой информации, а после его начали применять в музыкальной сфере. Т.к. у меня появилось свободное время, я решил написать что-то подобное ради эксперимента и подробно описать этапы разработки на VB6. Итак, взглянем на простейшую схему вокодера: Сигнал с микрофона (речь), подается на банк полосовых фильтров, каждый из которых пропускает только небольшую часть диапазона частот речевого сигнала. Чем больше количество фильтров - тем лучше разборчивость речи. В тоже время несущий сигнал (например пилообразный) также пропускается через аналогичный банк фильтров. С выходов фильтров речевого сигнала сигнал поступает на детекторы огибающей которые управляют модуляторами, а с выходов фильтров несущей сигнал поступает на другие входы модуляторов. В итоге каждая полоса речевого сигнала регулирует уровень соответствующей полосы несущей (модулирует ее). После сигнал выходной сигнал со всех модуляторов смешивается и попадает на выход. Для повышения разборчивости речи также применяют дополнительные блоки, вроде детектора "шипящих" звуков. Итак, чтобы начать разработку нужно определиться с исходными сигналами, откуда их будем брать. Можно к примеру захватить данные из файла или напрямую обрабатывать в реальном времени с микрофонного или линейного входа. Для тестирования очень удобно пользоваться файлом, поэтому мы сделаем и так и так. В качестве несущей будем использовать внешний файл зацикленный по кругу, для регулировки тональности просто добавим возможность изменения скорости воспроизведения, что позволит менять тональность. Для захвата звука из файла будем использовать Audio Compression Manager (ACM), с ним очень удобно производить конвертирование между форматами (т.к. файл может быть любого формата, то пришлось бы писать несколько функций для разных форматов). Может так оказаться что для конвертирования в нужный формат не окажется нужного ACM драйвера, тогда воспроизведение этого файла будет недоступным (хотя можно это попробовать сделать в 2 этапа). В качестве входных файлов будем использовать wav - файлы, т.к. для работы с ними в системе есть специальные функции облегчающие получение данных из них. Исходный код класса clsTrickWavConverter находится во вложении в конце статьи. Разберем подробно код. Для открытия файла служит метод ReadWaveFile, в качестве аргумента он принимает имя wav-файла. Файл с расширением .wav представляет собой файл в формате RIFF, который в свою очередь состоит из блоков, называемых чанками (chunk). Итак мы открываем файл с помощью функции mmioOpen, которая возвращает хендл файла, который можно использовать с функциями работы с RIFF файлами. Если все прошло успешно, то мы начинаем поиск чанка с типом WAVE, для этого мы вызываем функцию mmioDescend, которая заполняет структуру MMCKINFO информацией о чанке, если он найден. В качестве идентификатора чанка используется структура FOURCC, которая представляет собой 4 ASCII символа, которые упакованы в 32-разрядное число (в нашем случае Long). В качестве родительского чанка используем NULL, т.к. у нас не вложенный чанк, а в качестве флага передаем MMIO_FINDRIFF, который задает поиск чанка RIFF с заданным типом (в нашем случае WAVE). Итак, если функция mmioDescend отработала успешно, то наш RIFF-файл является WAVE-файлом, и можно переходить к получению формата данных. Формат данных хранится в чанке fmt, внутри чанка WAVE (вложенный чанк). Для получения этого чанка, мы вызываем опять-таки mmioDescend, только в качестве родительского чанка передаем только что найденный WAVE-чанк, а в качестве флага - MMIO_FINDCHUNK, который заставляет искать указанный чанк. В случае успеха, проверяем размер чанка, он должен соответствовать размеру структуры WAVEFORMATEX, и если все нормально читаем данные чанка (которые представляют собой структуру WAVEFORMATEX) посредством вызова mmioRead. Итак, теперь нам нужно убедиться, сможет ли ACM конвертировать данные из этого формата в нужный нам. Для этого мы вызываем функцию acmStreamOpen с флагом ACM_STREAMOPENF_QUERY, который позволяет запросить сможет ли ACM преобразовать данные между двумя форматами. В случае успеха начинаем разбор дальше. Итак мы сейчас находимся внутри fmt чанка, нам нужно опять вернуться в WAVE чанк, чтобы запросить чанк с данными. Для этого мы вызываем функцию mmioAscend. Далее, также как мы делали с fmt чанком, такую же последовательность действий повторяем для data чанка, который содержит непосредственно данные в формате fmt чанка. Данные читаем в буфер buffer(), обнуляем указатель в массиве на начало данных (bufIdx) и заполняем структуру с исходным форматом. Для задания выходного формата служит метод SetFormat, который проверяет возможность конвертирования в формат файла, если он был открыт. Основная функция класса clsTrickWavConverter - Convert, которая конвертирует данные из буфера по смещению bufIdx в нужный нам формат. Рассмотрим подробнее как она работает. При первом конвертировании поток преобразования еще не открыт (переменная mInit определяет инициализированность потока преобразования), поэтому мы вызываем метод Init который открывает поток преобразования через acmStreamOpen. Первым параметром передается указатель на хендл потока (hStream) - в него функция вернет хендл в случае успеха и его мы будем использовать для конвертации. В случае успешной инициализации потока мы определяем размер данных, необходимых что-бы произвести конвертацию. Т.к. вызывающая сторона передает указатель на буфер и его длину в байтах, нам нужно корректно заполнить буфер, не выходя за пределы. Для этого мы вызываем функцию acmStreamSize, которая возвращает необходимый размер данных для конвертации. В качестве флага мы передаем ACM_STREAMSIZEF_DESTINATION, что обозначает получение размера данных в байтах исходного буфера на основании размера выходного буфера. Далее мы корректируем размер с учетом выхода за пределы исходного буфера, т.к. возможно что исходный файл например слишком короткий или мы читаем данные около конца буфера. Далее мы заполняем заголовок ACMSTREAMHEADER описывающий данные преобразования и подготавливаем (фиксируем) его к конвертации с помощью функции acmStreamPrepareHeader. После этого мы вызываем acmStreamConvert, которая выполняет конвертацию. Флаг ACM_STREAMCONVERTF_BLOCKALIGN обозначает то, что мы конвертируем целое число блоков, в данном случае размер блока - mInpFmt.nBlockAlign. После конвертации мы должны отменить фиксацию через acmStreamUnprepareHeader и возвращаем число возвращенных байтов, также передвигаем указатель в исходном буфере на число обработанных байт.
В качестве захвата/воспроизведения звука используем класс clsTrickSound для работы со звуком посредством winmm. Описывать работу с winmm я не буду, скажу только что в качестве уведомлений используются оконные сообщения. Мы создаем для каждого экземпляра класса свое окно и wave-функции передают ему уведомления в виде сообщений, а мы, используя ассемблерную вставку, обрабатываем их в специальном методе класса, предварительно установив его в качестве оконной процедуры. Также я добавил туда проверку EbMode, что бы не было такого как в DirectSound, когда нельзя поставить нормально брейкпоинт при использовании циркулярного буфера. Класс генерирует событие NewData когда ему нужна очередная порция звуковых данных при воспроизведении и когда очередной буфер заполнен при захвате. Для инициализации воспроизведения используется метод InitPlayback, который инициализирует устройство воспроизведения (DeviceID) исходя из заданного формата и количества буферов в очереди. Список устройств получается свойством PlaybackDevices, которое представляет коллекцию устройств воспроизведения. Индекс устройства (от 0) соответствует нужному DeviceID. Чтобы предоставить функции выбирать само устройство по умолчанию для заданного формата, то передается константа WAVE_MAPPER. Инициализация захвата производится аналогично с помощью метода InitCapture; список устройств захвата получается с помощью метода CaptureDevices. Методы StartProcess, StopProcess соответственно запускают процесс воспроизведения/записи и останавливают; метод PauseProcess приостанавливает воспроизведение. Назначение остальных свойств понятно из комментариев в коде. Итак, исходный сигнал и модулирующий мы имеем. Теперь следующим этапом является фильтрация. Можно пойти несколькими путями: использовать банк фильтров (БИХ, КИХ), либо использовать БПФ (FFT, быстрое преобразование Фурье) или Вейвлет-преобразование. Для своей задачи возьмем оконное БПФ, т.к. расчет БИХ фильтров довольно сложная задача, а КИХ фильтры по вычислительной сложности не очень эффективны. (Честно говоря, изначально я сделал реализацию на БИХ фильтрах Баттерворта 2-го порядка, но меня не устраивало качество и нагрузка на процессор). С БПФ получается все довольно просто. Раскладываем речевой сигнал на гармоники где каждый элемент вектора представляет информацию об определенной частоте (получается что-то вроде большого количества полосовых фильтров). Также раскладываем несущий сигнал и выполняем модуляцию. После всего делаем обратное преобразование и получаем нужный сигнал. Получается что БПФ делает сразу 2 задачи - это раскладывает сигнал на полосы частот (см. схему) и выполняет микширование сигнала после ОБПФ. Для нашей задачи сделаем регулировку количества частотных полос, это позволит настроить нужную окраску тембра. Для БПФ и его обвязки напишем класс clsTrickFFT: Код (Visual Basic): ' clsTrickFFT - класс для быстрого преобразования Фурье ' © Кривоус Анатолий Анатольевич (The trick), 2014 Option Explicit Public Enum WindowType WT_RECTANGLE WT_TRIGANULAR WT_HAMMING WT_HANN End Enum Private Coef(1, 13) As Single Private mFFTSize As Long Private mLog As Long Private mWindow() As Single Private mType As WindowType ' // Тип окна Public Property Get WindowType() As WindowType WindowType = mType End Property Public Property Let WindowType(ByVal Value As WindowType) If InitWindow(Value) Then mType = Value End If End Property ' // Задает размер FFT Public Property Let FFTSize(ByVal Value As Long) Dim log2 As Double log2 = Log(Value) / Log(2) ' Число должно быть степенью 2-ки If log2 <> Fix(log2) Then err.Raise 5 Exit Property End If ' Проверяем выход за пределы If log2 < 2 Or log2 > 16384 Then err.Raise 9 Exit Property End If InitWindow mType mLog = log2 mFFTSize = Value End Property ' // Применить оконную функцию Public Function ApplyWindow(data() As Single) As Boolean Dim index As Long Dim count As Long count = UBound(data, 2) + 1 For index = 0 To count - 1 data(0, index) = data(0, index) * mWindow(index) Next ApplyWindow = True End Function ' // Конвертировать 16-битные отсчеты в нормализованные комплексные значения Public Function Convert16BitToComplex(inData() As Integer, outData() As Single) As Boolean Dim index As Long For index = 0 To UBound(inData) outData(0, index) = inData(index) / 32768 outData(1, index) = 0 Next Convert16BitToComplex = True End Function ' // Конвертировать комплексные отсчеты, представляющие реальный сигнал в 16-битные реальные Public Function ConvertComplexTo16Bit(inData() As Single, outData() As Integer) As Boolean Dim index As Long Dim Value As Long For index = 0 To UBound(inData, 2) Value = inData(0, index) * 32767 If Value > 32767 Then Value = 32767 Else If Value < -32768 Then Value = -32768 outData(index) = Value Next ConvertComplexTo16Bit = True End Function ' // Выполняет зеркалирование Public Function MakeMirror(data() As Single) As Boolean Dim index As Long Dim pointer As Long pointer = mFFTSize - 1 For index = 1 To mFFTSize \ 2 - 1 data(0, pointer) = data(0, index) data(1, pointer) = -data(1, index) pointer = pointer - 1 Next MakeMirror = True End Function ' // Быстрое преобразование Фурье Public Function FFT(data() As Single, ByVal IsInverse As Boolean) As Boolean Dim i As Long, j As Long, n As Long, K As Long, io As Long, ie As Long, in_ As Long, nn As Long Dim ur As Single, ui As Single, tpr As Single, tpi As Single, tqr As Single, tqi As Single, _ wr As Single, wi As Single, sr As Single, ti As Long, tr As Long nn = mFFTSize \ 2: ie = mFFTSize For n = 1 To mLog wr = Coef(0, mLog - n): wi = Coef(1, mLog - n) If IsInverse Then wi = -wi in_ = ie \ 2: ur = 1: ui = 0 For j = 0 To in_ - 1 For i = j To mFFTSize - 1 Step ie io = i + in_ tpr = data(0, i) + data(0, io): tpi = data(1, i) + data(1, io) tqr = data(0, i) - data(0, io): tqi = data(1, i) - data(1, io) data(0, io) = tqr * ur - tqi * ui: data(1, io) = tqi * ur + tqr * ui data(0, i) = tpr: data(1, i) = tpi Next sr = ur: ur = ur * wr - ui * wi: ui = ui * wr + sr * wi Next ie = ie \ 2 Next ' Перестановка j = 1 For i = 1 To mFFTSize - 1 If i < j Then io = i - 1: in_ = j - 1: tpr = data(0, in_): tpi = data(1, in_) data(0, in_) = data(0, io): data(1, in_) = data(1, io) data(0, io) = tpr: data(1, io) = tpi End If K = nn Do While K < j j = j - K: K = K \ 2 Loop j = j + K Next If IsInverse Then FFT = True: Exit Function ' Нормализация wr = 1 / mFFTSize For i = 0 To mFFTSize - 1 data(0, i) = data(0, i) * wr: data(1, i) = data(1, i) * wr Next FFT = True End Function ' // Инициализация окна Public Function InitWindow(ByVal Window As WindowType) As Boolean Dim index As Long Select Case Window Case WT_RECTANGLE ReDim mWindow(mFFTSize - 1) For index = 0 To mFFTSize - 1 mWindow(index) = 1 Next Case WT_TRIGANULAR ReDim mWindow(mFFTSize - 1) For index = 0 To mFFTSize - 1 mWindow(index) = IIf(index < mFFTSize \ 2, index / mFFTSize * 2, 1 - index / (mFFTSize - 1)) Next Case WT_HAMMING ReDim mWindow(mFFTSize - 1) For index = 0 To mFFTSize - 1 mWindow(index) = 0.53836 - 0.46164 * Cos(6.28318530717959 * index / (mFFTSize - 1)) Next Case WT_HANN ReDim mWindow(mFFTSize - 1) For index = 0 To mFFTSize - 1 mWindow(index) = 0.5 * (1 - Cos(6.28318530717959 * index / (mFFTSize - 1))) Next Case Else err.Raise 5 Exit Function End Select InitWindow = True End Function ' // Инициализация поворотных множителей для FFT и размера по умолчанию Private Sub Class_Initialize() Dim n As Long, vRcoef As Variant, vIcoef As Variant vRcoef = Array(-1#, 0#, 0.707106781186547 _ , 0.923879532511287, 0.98078528040323, 0.995184726672197 _ , 0.998795456205172, 0.999698818696204, 0.999924701839145 _ , 0.999981175282601, 0.999995293809576, 0.999998823451702 _ , 0.999999705862882, 0.999999926465718) vIcoef = Array(0#, -1#, -0.707106781186547 _ , -0.38268343236509, -0.195090322016128, -9.80171403295606E-02 _ , -0.049067674327418, -2.45412285229122E-02, -1.22715382857199E-02 _ , -6.1358846491544E-03, -3.0679567629659E-03, -1.5339801862847E-03 _ , -7.669903187427E-04, -3.834951875714E-04) For n = 0 To 13 Coef(0, n) = vRcoef(n): Coef(1, n) = vIcoef(n) Next mFFTSize = 512 mLog = 9 mType = WT_HAMMING InitWindow mType End Sub
Само преобразование выполняет метод FFT; для обратного преобразования вторым параметром передается True. В качестве комплексных чисел будем использовать массив вида arr(1, x), где x - количество комплексных, чисел arr(0, x) - реальная часть, arr(1, x) - мнимая часть. Подробно останавливаться на ПФ я не буду, т.к. это очень большая тема, и кому интересно в сети есть много статей где доступным языком объясняется его смысл и свойства; рассмотрим только основные моменты. Для преобразования нужно исходный действительный сигнал загнать в массив комплексных чисел, обнуляя мнимую часть (по правде говоря исходя из свойств ПФ можно еще ускорить если записать в реальную часть одну часть а в мнимую другую, но я не стал так усложнять). После преобразования получим набор комплексных коэффициентов где реальной части соответствуют коэффициенты перед косинусом, а в мнимой перед синусом. Если представить это на комплексной плоскости, то каждый коэффициент представляет собой вектор, длина которого характеризует амплитуду сигнала на этой частоте, а угол - фазу: Также имеет место зеркальный эффект (муар)- зеркальное отображение коэффициентов относительно половины частоты дискретизации, который равен по амплитуде и противоположен по фазе. Это происходит из-за дискретизации сигнала, т.к. частоты могут корректно представлены только до половины частоты дискретизации при увеличении частоты происходит алиасинг: Как видно красная синусоида изначально имеет частоту равную 2 периодам дискретизации, и постепенно период дискретизации увеличивается, частота дискретизированного сигнала уменьшается и в итоге при частоте дискретизации равной частоте синусоиды частота сигнала становится равной 0 герц. Из-за этого коэффициенты Фурье зеркально отображены относительно половины частоты дискретизации. Поэтому при работе со спектром можно обрабатывать только половину спектра, перед ОБПФ нужно просто зеркально скопировать вторую половину массива только сделать комплексное сопряжение (дополнительно мнимые коэффициенты умножить на -1). Для этого предусмотрен метод MakeMirror. При модуляции сигнала у нас будут возникать фазовые искажения, т.к. делая преобразование на каком либо участке сигнала, мы принимаем этот участок за 1 период, который повторяется по обе стороны окна бесконечно долго. И если мы вносим какие-либо изменения в спектр, то наши сигналы могут не совпадать на краях окна и будут возникать разрывы (в нашем случае щелчки). Для предотвращения этого мы умножим сигнал на весовое окно, которое плавно к краям уменьшает амплитуду сигнала, а сами блоки возьмем с перекрытием. Т.к. нам не нужно высокое качество звука, то мы не будем использовать весовые окна до преобразования (хотя следовало бы так сделать, т.к. имеет место размазывание частот), а вычислим в "лоб" с сырым сигналом, преобразуем, выполним ОБПФ и только для результата применим оконную функцию. Также это позволит брать блоки с перекрытием в 50% что на слух приемлемо и достаточно быстро. Чтобы было понятно вот наглядно пример: Как видно мы берем исходный сигнал 2 раза со сдвигом, захватывая вторую половину во втором проходе. После манипуляций мы микшируем эти два сигнала в месте перекрытия и выдаем на выход первую часть, половина второй части будет позже микшироваться со следующими частями. В качестве окна мы будем использовать окно Ханна. Сам метод называется ApplyWindow. Исходник класса прокомментирован, поэтому я не буду подробно останавливаться на нем. Как было сказано выше для работы FFT нам нужно брать данные с перекрытием и отправлять данные на выход с перекрытием. Для этого мы напишем специальный класс (clsTrickOverlappedBuffer), который будет выдавать нам данные с учетом перекрытия: Код (Visual Basic): ' clsTrickOverlappedBuffer - класс перекрывающегося буфера ' © Кривоус Анатолий Анатольевич (The trick), 2014 Option Explicit Private iBuffer() As Single ' Буфер входных значений Private oBuffer() As Single ' Буфер выходных значений Private mInit As Boolean ' Инициализирован ли объект Private miWritePtr As Long ' Индекс текущей позиции записи во входном буфере Private moWritePtr As Long ' Индекс текущей позиции записи в выходном буфере Private mWndSize As Long ' Размер порции данных для ввода/вывода Private mOverlap As Long ' Размер перекрывания в семплах Private iPtr As Long ' Текущая позиция чтения во входном буфере Private oPtr As Long ' Текущая позиция чтения в выходном буфере Private sampleSize As Long ' Размер выборки в байтах ' // Инициализация Public Function Init(ByVal windowSize As Long, ByVal overlapSizeSamples As Long) As Boolean If overlapSizeSamples > windowSize Or overlapSizeSamples <= 0 Then Exit Function If windowSize <= 0 Then Exit Function ' Выделяем буфер в 2 раза большего размера для минимального перекрытия windowSize ReDim iBuffer(1, windowSize * 2 - 1) ReDim oBuffer(1, windowSize * 2 - 1) mInit = True mWndSize = windowSize mOverlap = overlapSizeSamples miWritePtr = mWndSize Init = True End Function ' // Записать фрейм во входной буфер Public Function WriteInputData(data() As Single) As Boolean memcpy iBuffer(0, miWritePtr), data(0, 0), (UBound(data, 2) + 1) * sampleSize miWritePtr = IIf(miWritePtr, 0, mWndSize) WriteInputData = True End Function ' // Записать фрейм в выходной буфер Public Function WriteOutputData(data() As Single) As Boolean Dim sampleCount As Long Dim inSample As Long Dim pointer As Long Dim rest As Long pointer = moWritePtr ' Сначала микшируем перекрывающиеся данные ' Проверяем количество семплов до конца буфера sampleCount = mWndSize * 2 - pointer ' Если недостаточно семплов до конца буфера, то копируем до конца If sampleCount > mOverlap Then sampleCount = mOverlap ' Микшируем For inSample = 0 To sampleCount - 1 oBuffer(0, pointer) = oBuffer(0, pointer) + data(0, inSample) pointer = pointer + 1 Next ' Если не все скопировали, то продолжаем сначала If sampleCount < mOverlap Then pointer = 0 Do While pointer < mOverlap - sampleCount oBuffer(0, pointer) = oBuffer(0, pointer) + data(0, inSample) pointer = pointer + 1 inSample = inSample + 1 Loop End If moWritePtr = pointer ' Теперь копируем неперекрывающуюся часть sampleCount = mWndSize * 2 - pointer rest = mWndSize - mOverlap ' Корректируем с учетом выхода за пределы If sampleCount > rest Then sampleCount = rest ' Копируем If sampleCount Then memcpy oBuffer(0, pointer), data(0, inSample), sampleCount * sampleSize ' Если был перенос, то копируем в начало If sampleCount < rest Then pointer = 0 memcpy oBuffer(0, pointer), data(0, inSample), (rest - sampleCount) * sampleSize End If WriteOutputData = True End Function ' // Получить данные входного буфера Public Function GetInputBuffer(data() As Single) As Boolean Dim sampleCount As Long ' Получаем доступное количество семплов до конца буфера sampleCount = mWndSize * 2 - iPtr ' Корректируем If sampleCount > mWndSize Then sampleCount = mWndSize ' Копируем If sampleCount > 0 Then memcpy data(0, 0), iBuffer(0, iPtr), sampleCount * sampleSize End If ' При необходимости копируем с начала буфера If sampleCount < mWndSize Then memcpy data(0, sampleCount), iBuffer(0, 0), (mWndSize - sampleCount) * sampleSize End If ' Обновляем позицию iPtr = (iPtr + mOverlap) Mod mWndSize * 2 GetInputBuffer = True End Function ' // Получить данные выходного буфера Public Function GetOutputBuffer(data() As Single) As Boolean Dim sampleCount As Long ' Получаем доступное количество семплов до конца буфера sampleCount = mWndSize * 2 - oPtr ' Корректируем If sampleCount > mWndSize Then sampleCount = mWndSize ' Копируем If sampleCount > 0 Then memcpy data(0, 0), oBuffer(0, oPtr), sampleCount * sampleSize oPtr = oPtr + sampleCount End If ' При необходимости копируем с начала буфера If sampleCount < mWndSize Then memcpy data(0, sampleCount), oBuffer(0, 0), (mWndSize - sampleCount) * sampleSize oPtr = mWndSize - sampleCount End If GetOutputBuffer = True End Function Private Sub Class_Initialize() sampleSize = 8 End Sub
Метод Init инициализирует внутренние буферы хранения данных. Метод WriteInputData записывает во внутренний буфер данные входного сигнала. С помощью этого метода мы будем записывать захваченный сигнал и несущий сигнал. Метод WriteOutputData микширует переданные данные во внутреннем буфере с прошлыми данными добавленными в предыдущем вызове этого метода. Этот метод мы будем использовать для обработанных данных и писать уже промодулированный сигнал с помощью этого метода. GetInputBuffer и GetOutputBuffer заполняют входной буфер данными с учетом перекрытия. GetInputBuffer получает данные записанные методом WriteInputData, соответственно метод GetOutputBuffer получает данные записанные методом WriteOutputData. Теперь рассмотрим сам модулятор представленный классом clsTrickModulator, который занимается непосредственно преобразованием спектра: Код (Visual Basic): ' clsTrickModulator - класс модулятора ' © Кривоус Анатолий Анатольевич (The trick), 2014 Option Explicit Private mBands As Long ' Количество полос Private mDryWet As Single ' Баланс исходного и обработанного звука Private mVolume As Single ' Громкость Private mLevels() As Single ' АЧХ ' // Громкость Public Property Let Volume(ByVal Value As Single) mVolume = Value End Property Public Property Get Volume() As Single Volume = mVolume End Property ' // АЧХ Public Function SetLevels(Value() As Single) As Boolean mLevels = Value End Function Public Property Get Levels(ByVal index As Long) As Single Levels = mLevels(index) End Property ' // Баланс Public Property Let DryWet(ByVal Value As Single) If Abs(Value) > 1 Then err.Raise 9 Exit Property End If mDryWet = Value End Property Public Property Get DryWet() As Single DryWet = mDryWet End Property ' // Количество полос Public Property Let Bands(ByVal Value As Long) If Value > 128 Or Value <= 0 Then err.Raise 9 Exit Property End If mBands = Value End Property Public Property Get Bands() As Long Bands = mBands End Property ' // Функция выполняет обработку Public Function Process(carrier() As Single, modulation() As Single) As Boolean Dim nCount As Long Dim band As Long Dim endBand As Long Dim sample As Long Dim samplePerBand As Long Dim offsetSample As Long Dim modValue As Single Dim ampValue As Single Dim invDryWet As Single Dim FFTSize As Long invDryWet = 1 - mDryWet FFTSize = (UBound(carrier, 2) + 1) ' Зеркальную сторону не вычисляем nCount = FFTSize \ 2 ' Получаем число отсчетов на полосу samplePerBand = nCount \ mBands ' Вычисляем величину усиления ampValue = (Sqr(mBands) * invDryWet) / 2.5 + mDryWet ' Проходим по полосам For band = 0 To mBands - 1 ' Проверяем выход за пределы endBand = band * samplePerBand + samplePerBand If endBand >= nCount Then endBand = nCount - 1 ' Обнуляем величину спектральной составляющей для текущей полосы modValue = 0 ' Проходим по отсчетам спектра текущей полосы For sample = band * samplePerBand To endBand ' Вычисляем величину спекта для всех отсчетов полосы modValue = modValue + Sqr(modulation(0, sample) * modulation(0, sample) + _ modulation(1, sample) * modulation(1, sample)) Next ' Модулируем в текущей полосе For sample = band * samplePerBand To endBand carrier(0, sample) = ((carrier(0, sample) * modValue * invDryWet) + _ (modulation(0, sample) * mDryWet)) * ampValue * mLevels(sample) * mVolume carrier(1, sample) = ((carrier(1, sample) * modValue * invDryWet) + _ (modulation(1, sample) * mDryWet)) * ampValue * mLevels(sample) * mVolume Next Next End Function Private Sub Class_Initialize() mDryWet = 0 mVolume = 1 End Sub Класс имеет свойство Volume, которое определяет уровень выходной громкости. Свойство Bands определяет количество полос на которые будет делится спектр при модуляции. К примеру при частоте дискретизации 44100 Гц. и размере БПФ равным 2048, получим разрешение по частоте равное 44100 / 2048 ≈ 21.53 Гц. При количестве частотных полос равной 64 будем брать по 2048 / 2 / 64 = 16 отсчетов (344.48 Гц) частоты, для каждой модуляции. Свойство DryWet определяет баланс между оригинальным сигналом и преобразованным на выходе модулятора. Метод SetLevels задает массив с коэффициентами амплитудно-частотной характеристики (АЧХ) на которую умножается сигнал. Это позволит производить эквализацию сигнала и улучшить качество звука после обработки. Самый главный метод - Process, который собственно и производит обработку; разберем его подробней. Сначала мы вычисляем количество отсчетов на одну полосу исходя из свойства Bands, потом вычисляем коэффициент усиления выходного сигнала в зависимости от количества частотных полос - эта формула получена экспериментально. Дальше мы проходим по частотным полосам речевого (modulation) сигнала и в коэффициентах соответствующих каждой полосе вычисляем энергию данных частот. Ранее я писал что амплитуда спектральной составляющей - это длина вектора, поэтому мы просто суммируем длины векторов соответствующих частот, это и будет энергия в данном диапазоне частот. Далее мы проходим уже по несущему сигналу в тех же спектральных отсчетах изменяем уровень сигнала в соответствии с вычисленной энергией, также сразу вычисляем выходной уровень, применяем эквализацию. При умножении двух компонент вектора (комплексного числа) на величину энергии происходит его масштабирование. Всеми этими манипуляциями мы модулируем несущий сигнал, речевым, что нам и требовалось. Итак, все компоненты готовы. Теперь нужно все собрать и проверять работу. Для пользовательского интерфейса я разработал несколько контролов специально для вокодера. Описывать принцип работы и разработку каждого я не буду, т.к. это займет много времени, а расскажу вкратце о каждом из них. ctlTrickKnob - контрол регулятор, что-то вроде обычного потенциометра. С ним все понятно это обычный регулятор, подобие того же виндового Slider'а, только с круговой регулировкой. ctlTrickCommand - это обычная кнопка с поддержкой иконки и добавлена только для внешнего вида. ctlTrickEqualizer - самый интересный контрол. Он позволяет корректировать АЧХ сигнала. Его панель имеет логарифмическую шкалу, как по частотам, так и по уровням, что позволяет более естественно для слуха изменять параметры. Для добавления точки на АЧХ нужно нажать левой кнопкой в пустом месте, для удаления - правой. При изменении АЧХ контрол генерирует событие Change. Все контролы предназначены только для вокодера, поэтому их функционал минимален.
Теперь все "закидываем" на форму. При загрузке формы мы выполняем инициализацию всех компонентов. Захват, воспроизведение звука, размер FFT, величину перекрытия, перекрывающиеся буферы, создание буферов для целочисленных и комплексных данных. Далее я сделал форму окна со скругленными углами, т.к. использую окно без рамки (рисовать в неклиентской области не было желания). Теперь вся задача сводится к обработке событий AudioPlayback_NewData и AudioCapture_NewData. Первое событие возникает когда устройство воспроизведения нуждается в очередной порции звуковых данных, второе при заполнении буфера захвата, в котором мы просто копируем данные во временный буфер откуда потом возьмем их при обработке AudioPlayback_NewData. Самый главный метод - Process, в нем мы непосредственно делаем преобразование. Сначала мы проверяем идет ли у нас захват из файла или устройства. Для этого мы проверяем переменную mInpFile, которая определяет имя входного файла для захвата. Если захват производится из файла, то мы с помощью объекта inpConv, который является экземпляром класса clsTrickWavConverter, конвертируем данные в нужный нам формат. Если данные закончились (число прочитанных байт не соответствует переданному), то значит мы находимся на границе файла и для продолжения нужно начать сначала. Также проверяем несущий сигнал и если он не задан то просто копируем входные данные на выход и выходим, в этом случае мы будем слышать необработанный звук. В противном случае мы переводим данные в комплексный вид (заносим в реальную часть сигнал, а мнимую обнуляем) и заносим полученный массив в перекрывающийся буфер. Далее начинаем обработку несущего сигнала. Т.к. несущий сигнал у нас может быть очень маленькой длины (можно использовать один период волны), то в целях оптимизации я сделаем сами повторение сигнала если это потребуется. Поясню. Например если у нас несущий сигнал длительностью 10 мс, а буфер 100 мс (к примеру), то можно было бы просто каждый раз вызывать конвертацию с помощью ACM переписывая указатель в массиве назначения, но это будет неоптимально. Для оптимизации можно конвертировать только один раз, а потом просто продублировать данные до конца массива, что мы и сделаем. Только потом не забыть изменить позицию в исходном файле, иначе при следующем чтении фазы не будут совпадать и будут щелчки. Писать мы будем в другой буфер (rawBuffer). Этот буфер имеет длину исходя из сдвига тона. Например если мы хотим сдвинуть тон на величину semitones (полутонов), то размер буфера rawBuffer должен быть в 2semitones/12 раза больше. Далее мы просто сожмем/растянем буфер до величины mFFTSize, что даст нам ускорение/замедление и как следствие повышение/понижение тона. После всех манипуляций мы пишем данные в перекрывающийся буфер и начинаем обработку. Для этого проходим по количеству перекрытий и обрабатываем данные. Объекты класса clsTrickOverlappedBuffer вернут нам правильные данные. Обработка понятна из кода, т.к. мы подробно разбирали работу каждого класса. После обработки всех перекрытий мы получаем выходные данные и конвертируем их в целочисленные, пригодные для воспроизведения. В качестве настройки используется форма frmSettings. В качестве списка устройств используется стандартный листбокс, только отрисовка идет через мой класс. В список устройства добавляются в следующем порядке: Устройство по умолчанию для заданного формата Устройство 1 Устройство 2 ... Устройство n Захват из файла Для отработки клика по последнему пункту используется сообщение LB_GETITEMRECT, которое получает координаты и размер пункта в списке. Если этого не сделать то клик за пределами листа, если внизу есть пустое пространство будет равносилен клику на последнем пункте. В обработчике кнопки настроек в главной формы frmTrickVocoder мы проверяем устройство захвата и либо открываем файл для конвертации либо инициализируем захват. Для регулировки громкости и подмешивания используем логарифмическую шкалу, т.к. чувствительность человеческого слуха нелинейна. Вот в принципе и все. Спасибо за внимание.
Весьма интересно, Спасибо. а можешь сделать фичу? берутся два голоса (записи) и модуляция (речь) с одного перекидывается на другой
Планируете с помощью этой методики получить статистический фильтр? Или переквалифицироваться в пранкера?
Так сложно сделать. Просто если оставить формантную составляющую, то голос на слух несильно поменяется (попробуй каким-нибудь мелодайном подвигать тоновую составляющую, оставляя формантную), просто будет звучать так как-будто выше спел/сказал. Основной тон он в принципе одинаковый, голоса в основном различаются по формантным составляющим. Поэтому нет смысла модулировать формантами какой-то тон, даже если это тон от другого голоса. Можно к примеру изменять форманты как-то (сдвигать, растягивать и т.д.), но именно подделывать голос под образец сложно. Чтобы трансформировать голос в другой, необходима база данных формант результирующего голоса, затем необходимо в исходном голосе отследить интонацию, распознать форманту, найти подходящую форманту из базы данных, частотно-промодулировать тон исходя из интонации (т.е. изменить питч как у исходного голоса) и затем промодулировать в частотной области исходя из форманты из БД. Все это необходимо делать плавно с переходами.
Шутки шутками, но у меня есть и серьезный вопрос к @Thetrik 'у. Хотел поинтересоваться: насколько сложное дело портирование из Visual Basic в C/C++? Вы ведь, если я ничего не путаю, языки C/C++ вроде бы знаете? Такого наверно и врагу не пожелаешь? Тут ответ, видимо, даже у самого отзывчивого человека будет: "Хотите портировать - учите Visual Basic и портируйте". Или, все же, все не так страшно, как мне кажется?
Да меня заинтересовал вокодер и два синтезатора из вашего виртуального композитора. Хотел еще спросить: "FM-синтезатор сколько генераторов содержит?"
Думаю не составит труда портировать. Кто-то уже портировал анализатор спектра, правда на дельфях. 6 генераторов для звука + 2 LFO: Могу, в принципе код выложить этого синта, если нужно, но без остального приложения он будет не совсем понятен.
Ну насчет кучи я бы поспорил. Просто, с хорошими и малознакомыми людьми, обычно не спорю. Конкретно Toxic 3 я, по-моему, не смотрел, но из того, что попадалось: либо код низкого качества, либо в коде такие дебри, что проще написать что-либо свое. Ну не мне вам расказывать, как разбираться в чужом коде. Я если, что без всяких претензий и обид, потому что понимаю, что некоторые вещи довольно проблематичны. Поэтому я так осторожно и спросил. А VST-вокодеры вам не попадались?
Thetrik, хотел уточнить, а то может я непонятно объяснил. Меня интересуют не сами VST-синты как таковые, а именно исходники к ним. На Toxic 3 я ничего подобного не нашел. Хотел уточнить, что VST-вокодер, тоже интересует именно в исходниках на C/C++.
Просто я не вижу смысла делать мой синт под VST т.к. существует много гораздо лучших альтернатив, вот я к чему. Не встречал.
