hordia audio related posts

High abstraction level audio plugins specification (and code generation)

Mon, 17 May 2010 03:08:00 +0000

If you ever wrote at least 2 audio plugins in your life, for sure you have noticed you had to write a lot of duplicated code. In other words, most of the times, writing a plugin there is very little entropy from your code.

My first approach to this problem was some years ago when i did a simple code generator of the base code of a clam plugin (see these clam-devel threads for more info ‘Commit #11195: templated plugins generator‘ and ‘Frontend for automatic generation of plugin code‘)

Now i’m with a simple but i think powerful project (derived from the needs i noticed at club de audio de la fiuba) to have an application to generate code of different standards using XML based specifications. Then, as before, you nearly only need to write the signal processing code of the plugin (and can forget about the mechanical work).

The idea is to get VST, LADSPA, lv2, CLAM, Audio Units and possibly others standards base code ready to compile for different operating systems and using different build systems. Indeed, once finished, will be easy to implement new modules for others plugins specifications since will consist only into implement an interface.

My proposed xml specification (comments and suggestions are welcome!), showed as a clam plugin definition example is here. Basically contains metadata, input and output ports and controls and other build definitions:

< ?xml version="1.0" encoding="UTF-8"?>
< !DOCTYPE AudioPlugin SYSTEM "AudioPluginDef.dtd">
<audioplugin Version="0.1">
<metadata>
<name>TestRtPlugin</name>
<description>This is a test realtime audio plugin</description>
<authors>Fulano, Sultano, Mengano</authors>
<copyright Year="2010">Club de Audio FIUBA</copyright>
<license>GPL</license>
<category>Plugins</category>
</metadata>

<inputs>
<port Name="L Input">AudioInPort</port>
<port Name="R Input">AudioInPort</port>

<control Name="Gain" Min="0." Max="1.0" DefaultValue=".5">InControlFloat</control>
</inputs>

<outputs>
<port Name="L Output">AudioOutPort</port>
<port Name="R Output">AudioOutPort</port>
</outputs>

<outputplugin Standard="CLAM" BuildSystem="Scons" OS="Linux">
<basetemplatename>Default</basetemplatename>

<clam_defaultconfig> 
<baseclass>Processing</baseclass>
<withconfig>True</withconfig>
</clam_defaultconfig>
</outputplugin>
</audioplugin>

I also thought about an UID (Uniqued ID) field at metadata, there is not showed in the example since is not needed to clam plugins.

There is also a .dtd file to check the correctness of the plugin spec.

Some experience with CLAM inside an audio club at FIUBA, Argentina

Fri, 12 Mar 2010 02:21:15 +0000

(Note: I wrote this as something to tell to the clam-devel mailing list about some of my source-code commits)

About eight months ago, there was a foundation of something like an “audio club” in my university [1]. As soon i learned about that, i quickly got in touch with them and noticed that there was a major interest in analog issues (the only audio area with at least elective, courses in the university). So i told them about all the cool things that are available and ready to do with digital audio, mostly signal processing related. I talked in general, but of course i also talked about clam, with all its prototyping, real-time and easy development of plugins features. Even many of them ended installing and using it, and some even developing with more or less help. One thing to notice is that most of them are students from first years and most (but not all) are students with a basic programming level (because they are from electronics) but strong dsp knowledge (behind this is an university with more emphasis in theory than practice)
We started specifying plugins from a more abstract level (inputs/outputs/controls) and generating the source code base using
CLAM’s Templated Plugins Code Generator [2] and prototyping some simple applications. But one of the things we ended up doing was to take advantage of clam as platform to prototype medic related applications like filter ECG signal from noise in realtime, and some like _vice-versa_, i mean applying some processing knowledge from that area to audio.

Some of that work (one hour per week average) it’s now in the repo, most remarkable i think are filters work, by above the adaptative notch one (which even was used as a demo of a talk of one of the members about the steepest descent algorithm and its application to filter ECG signals)

Some development screenshots:
http://clam-project.org/wiki/Image:FilterByCoefExample.jpg
http://clam-project.org/wiki/Image:FilterExample-LP-HP.jpg
http://clam-project.org/wiki/Image:ThreeBandFilterOutputWithWhiteNoiseAsInput.jpg
http://clam-project.org/wiki/Image:GaussianWhiteNoiseHistogram.jpg
http://clam-project.org/wiki/Image:UniformWhiteNoiseHistogram.jpg

[0] FIUBA: Engineering Faculty of Buenos Aires University
[1] Group: http://code.google.com/p/club-audio-fiuba
Source code repo: http://groups.google.com/group/club_de_audio_fiuba
[2] http://audiores.uint8.com.ar/blog/2009/08/17/showing-a-little-about-clam-as-a-prototyping-tool-at-the-audio-club-of-fiuba/

Showing a little about CLAM as a prototyping tool at the Audio Club of FIUBA

Tue, 18 Aug 2009 02:10:03 +0000

Last week, at the recent ‘audio club’ of my university, I was showing how to work with the CLAM framework as a tool to prototype realtime audio signal processing applications in a simple and fast way.

We started with an example network to show some about the NetworkEditor capabilities: karaoke.clamnetwork

After that, we continue with a simple ‘diodo distortion’ plugin:

We specified and generated the source code base in this way:

We wrote this code:

bool Do()
{
bool result = Do( mEntrada.GetAudio(), mSalida.GetAudio() );

mEntrada.Consume();
mSalida.Produce();

return result;
}

bool Do(const Audio& in, Audio& out)
{
int size = in.GetSize();

const DataArray& inb = in.GetBuffer();
DataArray& outb = out.GetBuffer();

for (int i=0;i< size;i++)
{
if ( fabs(inb[i])>0.8 )
outb[i] = inb[i]<0.? -0.8:0.8;
else
outb[i] = inb[i];
}
return true;
}

And built this net to try it:

The source code of the plugin ready to be compiled is here: pluginDistorsiónDiodo_ClubAudioFiuba.tar.gz

As extra, I leave here pluginDistorsiónDiodoConControlDeClipping_ClubAudioFiuba.tar.gz the same diode distortion, but with a clipping control to set the threshold when playing.

They liked these kind of prototyping features a lot, so probably we’re going to keep using it at the club.

Mostrando un poco de CLAM como herramienta para prototipar en el Club de Audio de la FIUBA

Sat, 15 Aug 2009 00:05:10 +0000

Ayer estuve mostrando un poco de como usar el framework CLAM para prototipar aplicaciones de procesamiento en tiempo real de audio de forma rápida y sencilla.

Empezamos con una red de ejemplo para mostrar un poco el NetworkEditor: karaoke.clamnetwork

Luego seguimos con el plugin “distorsión de diodo”.

Especificamos y generamos el código base asi:

Escribimos este código:

bool Do()
{
bool result = Do( mEntrada.GetAudio(), mSalida.GetAudio() );

mEntrada.Consume();
mSalida.Produce();

return result;
}

bool Do(const Audio& in, Audio& out)
{
int size = in.GetSize();

const DataArray& inb = in.GetBuffer();
DataArray& outb = out.GetBuffer();

for (int i=0;i<size ;i++)
{
if ( fabs(inb[i])>0.8 )
outb[i] = inb[i]<0.? -0.8:0.8;
else
outb[i] = inb[i];
}
return true;
}
</size>

Y armamos una red para probarlo:

El código del plugin listo para compilar esta aca: pluginDistorsiónDiodo_ClubAudioFiuba.tar.gz

Como extra, en pluginDistorsiónDiodoConControlDeClipping_ClubAudioFiuba.tar.gz dejo la misma distorsión de diodo pero con un control para poder manejar el umbral de clipping mientras se reproduce.

John Redfield, "La música, ciencia y arte"

Tue, 17 Feb 2009 16:56:06 +0000

Una vez publiqué en este blog un documento que me habian enviado en el que mencionaban un libro, “La música, ciencia y arte” de John Redfield, supuestamente agotado y casi imposible de conseguir. Ya que el título me resultaba interesante, me puse a buscar información sobre el mismo y me encontré con que al parecer su versión original en inglés (escaneada) esta disponible en Internet Archive (supongo que a esta altura ya habrá pasado a dominio público):

“Music: A science and an art” by John Redfield (1928)
Link: http://www.archive.org/details/musicascienceand009118mbp
Publisher: Tudor Publishing Co.
Language: English
Book contributor: Universal Digital Library
Totalpages: 352

Idea simple: Delay ajustable para sincronizar transmisiones de radio y tv

Tue, 17 Feb 2009 03:22:23 +0000

Desde hace bastantes (meses? años?) que tengo ganas de ver los partidos de river pero con el relato de Atilio Costa Febre (que va vía radio AM[1]), pero nunca podía hacerlo de una forma satisfactoria ya que la transmisión de la tele siempre estaba retrasada unos cuantos segundos (gritaban gol en la radio y uno veia la pelota por la mitad de la cancha, insoportable).

También hace bastante que se me habia ocurrido la simple solución de retrasar la transmisión de radio unos segundos con la computadora hasta que se sincronizara todo. El tema es que los plugins de audio clásicos, están pensados para hacer música y generalmente soportan muy pocos segundos de delay (por ejemplo el delay común de los LADSPA), asi que dije bueno, lo armo en CLAM y sale con fritas… Pero no habia delay temporal disponible (sí uno espectral), asi que lo tuve que programar, sino en 5 minutos tenia todo listo.

El resto, armar la red de conexiones con el NetworkEditor[2], la interfaz[3] con el QtDesigner, y listo el prototipo dominguero:

Aparte de todo el poderio y posiblidades que tiene CLAM, como me gusta que también sirva para salir del paso y resolver estos pequeños problemas…

[1] Dado que ahora están en radio mitre y esta transmite por internet, hasta se puede prescindir de una radio externa y usar el streaming por ejemplo con mplayer que soporta jack como backend, lo que permite conectar su salida a la entrada de la red del NetworkEditor fácilmente. El comando:

mplayer -cache 32 mms://streammitre.uigc.net/mitrevivo -ao jack

[2] atilioSimple.clamnetwork
[3] atilioSimple.ui

Interactive CLAM programming (with python)

Mon, 04 Aug 2008 01:00:09 +0000

Recently I been playing with python bindings for the CLAM library. Here is a demo demonstrating how to interactively build a network and play a file using the IPython shell:

Related scripts: playfile.py fft_example.py.

PyCLAM source. INSTALL.

CLAM processing generator script (example of use)

Mon, 07 Jul 2008 20:58:49 +0000

This script is about a basic code generation of a CLAM plugin. In some point I think this is some kind of meta-programming or perhaps the term “automatic programming” fits better. The basic idea is to specify some basic features of the planned new processing in a plain text and then, generate some code with the script, saving in this way many of the often repetitive and mechanical work needed to set-up a new processing from scratch. Main intention is to allow concentrate in the Do() function or plugin details quickly.

As an example, I will reproduce here how I worked with me some time ago:

One day, in the irc #clam channel:
“[11:51] <groton> Consul, do you know if there is any trigger-like processing unit, list when the volume gets louder than a threshold or something like that”

I’m not Consul in the irc (I’m hordia), but next day at my console…

cd CLAM/scripts/TemplatedPluginsGenerator
vi ThresholdTrigger.template

Name:ThresholdTriggerTemplate
BaseClass:Processing
i:AudioInPort,Audio Input
ic:0,1,Threshold
oc:0,1,Trigger

In words, this means a Processing template named “ThresholdTriggerTemplate” using “Processing” as a base class and with one input of “AudioInPort” type named “Audio Input”, with one in control in the 0..1 range named “Threshold” and one out control named “Trigger”. Of course, you can add as many inputs/outputs of ports or controls as you want.

This script creates the template:

./TemplateGenerator.py ThresholdTrigger.template

And this one the processing plugin:

./TemplatedPluginsGenerator.py ThresholdTrigger ThresholdTriggerTemplate "Hernán Ordiales" GPL 2008

Again in words, this means create a new processing called “ThresholdTrigger” based on the “ThresholdTriggerTemplate” filling the copyright with my name plus the current year and the license with the GPL text.

A final edit just typing the required code for the Do() function:

cd CLAM/plugins/ThresholdTrigger
vi ThresholdTrigger.hxx

#include <cmath>

bool Do()
{
bool result = Do( mAudioInput.GetAudio() );
mAudioInput.Consume();
return result;
}

bool Do(const Audio& in)
{
int size = in.GetSize();
const DataArray& inb = in.GetBuffer();
TData threshold = mThreshold.GetLastValue();
bool trigger = 0;
for (int i=0;i<size ;i++)
{
if (std::fabs(inb[i])>threshold)
trigger = 1;
}
mTrigger.SendControl(trigger);
return true;
}
</size></cmath>

At this point, just remains add the basic SConstruct file for a CLAM plugin, compile it with the corresponding clam_prefix and install it:

scons install clam_prefix=$CLAM_PATH
NetworkEditor

And ready to use…

This example it’s very simple and has a poor implementation but was just to show the idea of how those scripts can save a lot of work.

Update: I made a frontend for these scripts: ProcessingCodeGenerator

Radio de Last.fm, "recordando" las canciones nuevas que escucho y me gustan

Mon, 07 Jul 2008 04:22:26 +0000

Este post surge dado que recientemente redescubrí la radio de last.fm. Principalmente gracias a que me bajé el programa que proveen ellos (btw, multiplaforma y Software Libre). Digo que redescubrí porque antes la usaba desde el amarok, cosa que esta bien, ya que uno centraliza todo ahi, pero este programita tiene algunas cosas piolas y en algunas situaciones es mucho más cómodo de usar, sobre todo para cambiar de radios, por artistas o tags, etc y encima te tira algo de data (parecido a lo que tiene el amarok que busca en wikipedia, nada más que “propiedad” de last.fm). Pero lo que me hizo “engancharme” es el tema de poner un artista que me guste y que me empiece a tirar temas con la misma onda, cosa que me hace conocer canciones e interpretes nuevos. ¿Por qué cuento esto? Por que desencadeno en que comience a usar seguido el botón de “Love”/”Favorito” de la aplicación, que es una forma de decirle a last.fm que ese tema te gusta y que lo tenga en cuenta para volverlo a pasar en el futuro o para (supongo) que tengan más probabilidad de aparecer temas similares (si no te gusta para nada, también se puede “bannear”). Bueno, todo esto viene dado que de tanto presionar “love” (y descubrir/redescubrir varios artistas, sobre todo en blues y jazz) queria tener una forma de acceder a todo eso (nombre del tema + interprete). El programa en cuestión muestra una lista de las canciones recientemente maracadas como favoritas, pero no permite copy&paste y ~~tampoco vía web hay forma de acceder a esa información, como si pasa con otras cosas, por ejemplo las canciones recientemente escuchadas…~~ (con la nueva versión del sitio si se puede: Last.fm: The Next Generation)

Bueno, buscando un poco di con la API (versión 2.0), al parecer reciente, pero sin la capacidad de “recuperar” las últimas loved songs… asi que me remití a la versión 1.0 que si lo permite y además se puede usar sin api key. Entonces lo que hice fue armarme un script en python que descargara las últimas canciones “favoritas” y las vaya guardando en un xml (o .txt), es decir a medida que aparecen nuevas, las agrega y elimina los duplicados…

El script es este: recentLovedTracksList.py

Tip: si uno quiere estar seguro de no perderse ninguna canción, dado que las “canciones favoritas recientes” son solo 10, puede poner este script a correr en cron… (si es que va marcar muchas canciones como favoritas, pero a lo sumo y con mucha suerte uno marca como “loved” una por hora y la frecuencia por supuesto tiende bajar)

Ya que estaba jugando con la api, hice otro script para descargarme todo el historial de escucha (otra “feature” que no vi disponible vía web, pero por suerte con un poco de “hacking” se puede hacer con la API):

lastfmProfileBackup.py

No se para que me puede servir, pero es info mía y ya que la tiene otra persona, al menos me gusta poder tenerla yo

Otras aplicaciones

Ya que escribo sobre last.fm aprovecho para comentar un par de “nuevos usos” que se me ocurrieron de este tipo de sistemas, ambos se aplican a un player haciendo scrobbling en una fiesta/reunión:

Con esto se tiene automáticamente trackeada y publicada la lista de canciones que se escucharon. ¿Cuantas veces uno quiere saber como se llama esa canción que le gustó el día anterior para poder volverla a escucharla?
Si uno no quiere estar eligiendo música, pero quiere asegurarse que va a escuchar algo de su agrado, puede poner su radio personalizada y listo… “satisfacción garantizada” . Esta feature ahora es paga, pero dado que cualquier usuario puede escuchar la radio del otro… no es difícil imaginarse como se puede salvaguardar este punto… de todas formas, la suscripción no es cara, alrededor de 3 euros por mes (creo).

La historia de Horgand (conversación con holborn)

Sat, 28 Jun 2008 21:12:13 +0000

Hace bastante tiempo que tenia archivada esta conversación sobre síntesis por FM y Horgand que quería publicar.

Qué es Horgand? un sintetizador por soft capaz de realizar sonidos de órgano y otros tipos de sonido como pianos eléctricos (Rhodes , Wurlitzer, DX E.Piano ), Jazz Guitar, Strings, Brass, Fretless Bass, Accordion etc. Esta basado en síntesis por FM, según su web:

“Is based on a FM audio synthesizer with twenty carriers (20) without modulators in a plain based algorithm.
each carrier frequency can be modified for construct complex sounds. The synthesizer incorporate also a LFO (Low frequency oscillator) for generate tremolo effects and detune effects applying LFO Pitch and Amplitude to the carrier frequency’s. Some synthesizer parameters can be edited for each sound including two ADSR, (Normal and Percussion), Fine Frequency, Attenuation, Rotary Amplitude, Transpose, etc. Four DSP effects are available for obtain more complex sounds, Rotary, Chorus, Delay and Reverberation. Sounds are stored in banks of 32 organ sounds and can be changed externally with MIDI program change (1-32).”

También incorpora reconocimiento de acordes para producir acompañamiento automático (bajo y bateria) y con líneas de bajo editables para cada ritmo.

Ejemplo de como suena: Horgand_demo.ogg

No conozco mucho de síntesis por FM y tenía curiosidad de como lograba el sonido y terminó saliendo una especie de entrevista improvisada, creo que puede ser interesante para quienes quieran adentrarse en este tipo de programación.

La conversación:
—
<hordia> despues me tenes que contar en que te basaste para conseguir el sonido de horgand digitalmente…
<holborn> pues en el DX7 …. tiene 32 algoritmos de colocacion de los operadores … pero si usas el plano (todos en linea)… todo lo que hagas suena a organo … a partir de ahi … pues añadirle los efectos … y claro en vez de 6 “osciladores” hay 10 … que en realidad son 20 … con lo cual pues es mas rico que un emulador de dx7 tipo hexter o en el dx7 mismo … en realidad .. para usar 20 osciladores no chupa CPU nada … otros porgramas usan 3 y ch
<holborn> claro que para ahorrar cpu .. tuve que limitar algunos parametros de edicion … pero bueno … yo lo que queria era que sonara … si nadie se pone a editar sonidos … ni dios vaya …
<hordia> que es el DX7? me suena a un teclado legendario pero no estoy seguro…

<holborn> el DX7 fue el primer sintetizador FM … es de yamaha .. y fue una revolucion porque era el primero que mas o menos imitaba bien sonidos reales … algunos mejor que otros …
<holborn> los vendieron todos y mas …
<holborn> yo realmente era un experto … en aquella epoca ni dios sabia nada de musica electronica … yo me hice un curso que daba un loco de la musica electronica .. y sabia programar sintes cosa que nadie sabia .. te estoy hablando de hace mil años …
<holborn> cuando salio el DX7 pues me tuve que empapar toda la info porque realmente es muy diferente a un sinte analogico tradicional … y bueno .. le pedi a un amigo que trabajaba en un distribuidor de yamaha .. que me consiguiera info de verdad … de hecho todavia la conservo ..por ahi ..
<hordia> :O
<holborn> yo llegue a trabajar programando sintes en un estudio de grabacion …. vaya no todos los dias pero me llamaban de vez en cuando
<holborn> haciendo presets … me refiero .. claro
<hordia> veo que horgand es el resultado de muchos años de experiencia…
<holborn> si … a ese nivel si … pero todo fue gracias a un ejemplo de la web de alsa .. .se llama fmminisynth.c … o lago asi … 100 lineas de codigo … entonces se me ocurrio … y empece ..

<holborn> luego buscando … encuentras mil ejemplos de codigo … en HArmony Central … no esta el codigo pero explican como funcionan los efectos … en cristiano .. sin mucha matematica … esta muy bien .. luego ya el implementarlo es cosa de uno … pero el mismo Paul Nasca dice por ahi (el del zyn) que se basa en esa explicaciones … y yo tambien claro
<holborn> ya te aseguro que su implementacion es mejor que la mia
<hordia> jeje
<holborn> ahora …la mia consume un tercio de cpu que la suya
<hordia> entonces hay que ver que parametros se toman para definir cual es mejor
<holborn> pues es un sinte … lo que suena … sus efectos suenan mejor …. pero … el usa 3 o 4 osciladores por sonido … yo uso 20 … con lo cual en algun lado hay que recortar …
—

El ejemplo que se menciona: miniFMsynth.c

Afinando por vibraciones (violín)

Sat, 28 Jun 2008 20:09:36 +0000

Hace un tiempo, cuando le regalé a mi hermana un afinador para violín, para mi sorpresa (por que lo ignoraba) me enteré que hasta los afinadores más baratos incorporan el afinado por vibración (de la madera). Esto es muy conveniente por que elimina ruidos externos de una manera natural, algo imagino casi imprescindible para un violín tradicional (sin micrófonos) que en general se afina en presencia de otros instrumentos de una orquesta. Lo que se hace es colocarlo en alguna parte del instrumento con una especie de prensa que tiene para que quede bien sujeto. La verdad que me gustó.

(el afinador era un: matrix gt2)

Share This/Compártelo

Distortion rack prototype

Sat, 05 Jan 2008 16:09:50 +0000

A nice prototype:

And the net behind:

Share This/Compártelo

LADSPA versions of my recent simple distortions

Mon, 17 Dec 2007 04:41:04 +0000

After prototype different kind of simple distortions in NetworkEditor i managed to port all them to ladspa plugins. Despite the fact that the task was less difficult than i had expected at first, prototype with CLAM first worth a lot. Probably, if i had begun coding directly to ladspa source, reach the same status would be taken to me 10 or more times more. I think also was very interesting as “development process”, instead of modeling for example with matlab, you could easy modeling (among other things) in CLAM, and then, if you want/need make your final product by your own.

More, the other day i learned that is already possible to compile ladspa plugins directly from CLAM networks… very cool! Though i think this feature is not completely ready yet and i’m still have to dig in it, i don’t think that i have lost time porting manually because now i have a better knowledge and understanding about ladspa specification that for sure will be useful to work with this (for me “new”) feature, that probably needs some fixes.

About the ladspa plugins programming, i just downloaded the sdk from ladspa.org, read some of the ladspa.h file and some basic examples (the ones from sdk) and that was enough to handle the basis. Ah, i had to ask for some ladspa ID’s for my plugins here: ladspa at muse.demon.co.uk

On the other hand i’ve forwarded my distortion examples to musix distro folks and some of them indeed have tried it and made a couple of jack-rack presets and audio demos. More info about this here: DSP-es#Presets, ogg demos and jack-rack presets, and patchs review.

Next step (in my TODO list): produce ladspa binaries directly from CLAM networks.

I have uploaded these plugins here: disthordian ladspa plugins.

Share This/Compártelo

New CLAM plugin: ('very' for now) simple guitar distortion

Sun, 09 Dec 2007 18:47:55 +0000

A week or more ago, Daniel Vidal Chornet (collaborator of Musix) asked me if i can develop guitar distortion effects, because he couldn’t find something decent that suits his needs, i said “sadly i have no idea about distortions effects and anyway i have no time right now to do that”, but then i remembered how useful could be the clam framework and i tried to do a little spike about. Results were better than i had expected at first (is not a super cool distortion, but at least sound like one).

Basically i merged and tweaked a couple of simple/base algorithms found in the web for distortion and compression and in less than 30 minutes i had something working and sounds like a guitar distortion (”clean” ones seems to sound better easily). I was amazed how fast and easy (develop and test in clam/networkeditor, once you get the basis) was. I think right now is far to be a good distortion, but as learning process and first demo seems very good.

Here some sound examples:

Original: Download audio file (dvlc-guitar.mp3)

(dvlc-guitar.ogg)

With distortion: Download audio file (guitardist-ex1.mp3)

(guitardist-ex1.ogg)

Test network looks like:

The source code is here (as NetworkEditor plugin): GuitarDistortion.tar.gz

Some optional tweaks could include add a three band filter but i’m still not sure if it’s better to put it at first or at the end.

Special thanks for testing and audio samples to Daniel Vidal Chornet. I should take from my closet my fender stratocaster and do my own samples . OTOH, we already arrange to do a remote gig with this.

Another useful NetworkEditor processings plugins i had made during this “work”:

AutomaticGainControl: Adaptative automatic gain control. Given an output reference and step response adjusts the output volume to keep it constant (AutomaticGainControl.tar.gz)
AudioSwitch: Switchs between a configurable amount of inputs (like a multiplexer) (AudioSwitch.tar.gz)

Share This/Compártelo

TAPESTREA: Modelando la escena sonora a partir de ejemplos o muestras

Fri, 02 Nov 2007 00:56:15 +0000

Hoy vi el video demostración de TAPESTREA: Techniques And Paradigms for Expressive Synthesis, Transformation, and Rendering of Environmental Audio (también conocido como taps). Intenta ser un entorno para el diseño de sonido, pero desde un enfoque totalmente nuevo (lo mejor es ver el video para entender mejor de que se trata).

Me llamó la antención (además de la división del sonido entre sus componentes sinusoidales, transitorios y residuo), la interfaz gráfica intuitiva y sencilla y la manipulacíón de sonidos en el espectrograma.

TAPESTREA: Sound Scene Modeling By Example - For more funny movies, click here

El video completo esta disponible aca: http://soundlab.cs.princeton.edu/listen/taps/tapestrea.mov

Según su web, la idea es ser un framework unificado para analizar de forma interactiva sonidos complejos, transformarlos y sintetizarlos:

Identificar puntos de interés en el sonido y extraerlos para crear “templates” (una muestra/un sample) reusables
Transformar componentes de sonido de forma independiente a su entorno y otros eventos sonoros
Resintetizar continuamente las texturas de fondo de una forma perceptualmente convincente
Posicionamiento de eventos “templatizados” sobre la escena de fondo por medio de una novedosa interfaz de usuario o scripts escritos en Chuck (un lenguaje de programación orientado al audio)
Recuperación de componentes de sonidos basandose en la similaridad con otros.

TAPESTREA otorga una nueva forma de transformar dinámicamente una escena de sonido, permite generar puestas de cualquier duración, facilita la composición y el diseño de sonido combinando elementos de diferentes grabaciones de forma muy sencilla y ofreciendo miles de variantes para su manipulación (solo pensar en las posiblidades que otorga el solo hecho de poder manejar por separado sinusoides, transitorio y residuo).

Sin duda, una herramienta de trabajo interesante tanto para “diseñadores de sonido” como invesitigadores del audio, compositores y cualquier persona interesada en experimentar con el sonido.

Por si todo esto fuera poco, es Software Libre y multiplataforma. El código fuente y los binarios se consiguen aquí.

Más info:

Share This/Compártelo

My presentation at the "VI Jornadas de Acústica, Electroacústica y áreas vinculadas (CADAE)"

Sat, 27 Oct 2007 20:47:00 +0000

Yesterday I had the opportunity to give a talk about my recent work in the google summer of code at the VI Jornadas de Acústica, Electroacústica y áreas vinculadas (CADAE). The given time was short, so was a little hard to explain all in only 20 minutes, but seems that all went well (at least seemed like the people). Here my presentation (in Spanish):

Transformaciones espectrales en tiempo real para CLAM

| View | Upload your own

Download: Transformaciones espectrales en tiempo real para CLAM.pdf

Share This/Compártelo

Presentación en las VI Jornadas de Acústica, Electroacústica y áreas vinculadas (CADAE)

Sat, 27 Oct 2007 20:26:18 +0000

Ayer tuve la oportunidad de presentar mi trabajo realizado para el google summer of code en el marco de las VI Jornadas de Acústica, Electroacústica y áreas vinculadas (CADAE), les dejó la presentación de la misma:

Transformaciones espectrales en tiempo real para CLAM

| View | Upload your own

Download: Transformaciones espectrales en tiempo real para CLAM.pdf

Share This/Compártelo

Conferencia ‘Tackling the Acoustic Front-end for Distant-Talking Automatic Speech' en BsAs

Sat, 01 Sep 2007 03:25:50 +0000

Me llega vía mail/boletín de IEEE Argentina que el próximo lunes 3 de septiembre se va a dar la conferencia ‘Tackling the Acoustic Front-end for Distant-Talking Automatic Speech‘ dictada por el Prof. Dr.-Ing. Walter Kellerman, conferencista distinguido de la IEEE Signal Processing Society. Esto será en la Sede de IEEE / CICOMRA, con entrada libre y gratuita.

Temario

With the ever-growing interest in ‘natural’ hands-free acoustic human/machine interfaces, the need for according distant-talking automatic speech recognition (ASR) systems increases. Considering interactive TV as a challenging exemplary application scenario, we investigate the structural problems presented by noisy and reverberant multi-source environments with unpredictable interference and acoustic echoes of loudspeaker signals, and discuss current acoustic signal processing techniques to enhance the input to the actual ASR system. Special attention is paid to reverberation, which affects speech recognizers much more than human listeners, and a recently published method incorporating a reverberation model on the feature level of ASR is discussed.

Sobre el orador (para más datos ver este link)

Walter Kellermann is Professor for communications at the Chair of Multimedia Communications and Signal Processing of the University of
Erlangen-Nuremberg, Germany. His current research interests include speech signal processing, array signal processing, adaptive filtering, and its applications to acoustic human/machine interfaces. He received the Dipl.-Ing. (univ.) degree in Electrical Engineering from the University of Erlangen-Nuremberg in 1983, and the Dr.-Ing. degree (’with distinction’) from the Technical University Darmstadt, Germany, in 1988. From 1989 to 1990, he was a Postdoctoral Member of Technical Staff at AT&T Bell Laboratories, Murray Hill, NJ. In 1990, he joined Philips Kommunikations Industrie, Nuremberg, Germany. From 1993 to 1999 he was a professor at the Fachhochschule Regensburg before he joined the University Erlangen-Nuremberg as a professor and head of the audio research laboratory in 1999 (for more see http://www.LNT.de/audio). In 1999 he co-founded the consulting firm DSP Solutions. Dr. Kellermann authored or co-authored eight book chapters and more than 100 refereed papers in journals and conference proceedings. He served as a guest editor to various journals, as an associate editor and guest editor to IEEE Transactions on Speech and Audio Processing from 2000 to 2004, and presently serves as associate editor to the EURASIP Journals on Signal Processing and on Advances in Signal Processing. He was the general chair of the 5th International Workshop on Microphone Arrays in 2003 and the IEEE Workshop on Applications of Signal Processing to Audio and Acoustics in 2005. For 2007 and 2008 he is a Distinguished Lecturer of the IEEE Signal Processing Society.

Datos de la conferencia

Fecha y hora: Lunes 3 de setiembre a las 19:00
Lugar: Auditorio IEEE/CICOMRA, Av. Córdoba 744 Piso 1 B, Buenos Aires
Inscripción: No es arancelada, pero se solicita inscripción previa vía web completando el formulario disponible aca. Alternativamente por e-mail a sec.argentina@ieee.org citando ‘Conferencia SPS-01‘ o por teléfono a IEEE / CICOMRA (011) 4325 8839.

No hay charlas ni mucho movimiento sobre este tipo de cosas por aca, asi que voy a tratar de ir… y después, de hacerme tiempo para un review de la misma.

Share This/Compártelo

Audio Player Wordpress plugin

Mon, 27 Aug 2007 00:24:46 +0000

De casualidad (buscando otra cosa) me topé con esto: Audio Player Wordpress plugin. Parece bastante bien logrado y lo instalé en este blog… (además en este último tiempo venia averiguando sobre estos temas, ver: “Streaming audio from your website (mp3 and ogg!)” y “Many files to stream with cortado in the same page“). Al estar basado en flash, solo soporta mp3, pero es bastante configurable y tiene cosas copadas como la posibilidad de agregar audios por defecto al inicio o al final de cada track (útil por ejemplo para anuncios comerciales en podcasts o instrucciones de uso), distintas alternativas de mostrado de los audios en el feed, configuración de colores y otras cosas más.

También se puede usar en sitios no basados en wordpress (ver tutorial) y por ejemplo es el que usa digg.com para los podcasts (ver).

Ejemplo:

Download audio file (elvis-harmonized.mp3)

Share This/Compártelo

Fundamental (in Hz) to a MIDI note

Sun, 26 Aug 2007 23:54:29 +0000

Working to have audio-to-midi in NetworkEditor (CLAM) I needed to convert a fundamental frequency value to a MIDI note one.

I found some source code related with this in Voice2MIDI app, but was not explained at all, so looking for the reason of that formula I arrived at this:

Knowing about equal-tempered scale (check this) and relation between frequencies plus the fact that C4 or “middle c” has a MIDI value of 60, it’s easy to conclude that then A4 (which its frequency value is 440Hz, a standard for tunning and is 9 semi-tones more) has a MIDI value of 69.

Then, starting with:

It’s easy to arrive at this:

and then, also taking in account this mathematical relation::

the final formula looks like:

and a final c++ code like:

fund_midinote = round( 69. + log(fundfrec/440.)*17.31234 );

Share This/Compártelo

SMS interference mystery solved

Wed, 08 Aug 2007 03:15:34 +0000

Andrés Kasulin, a friend of mine from the University gave me some light about the issue of SMS interference (check “Catching (phone) SMS pulse train with CLAM...“)

He says in a comment from that post:

“I've found nice data in wikipedia[1].

It seems to be radiofrequency interference produced by the the phone, and filtered by the mic-cable-probes-osciloscope system. I think there is only a square pulse because the carrier frequency is much higher than filter cutoff frequency (maybe near 10^5 times).”

[1] http://en.wikipedia.org/wiki/GSM#Radio_interface

I’d add from that article:

“A nearby GSM handset is usually the source of the “dit dit dit, dit dit dit, dit dit dit” signal that can be heard from time to time on home stereo systems, televisions, computers, and personal music devices. When these audio devices are in the near field of the GSM handset, the radio signal is strong enough that the solid state amplifiers in the audio chain function as a detector. The clicking noise itself represents the power bursts that carry the TDMA signal. These signals have been known to interfere with other electronic devices, such as car stereos and portable audio players. This is a form of RFI, and could be mitigated or eliminated by use of additional shielding and/or bypass capacitors in these audio devices. However, the increased cost of doing so is difficult for a designer to justify.”

Very thanks Andrés!

Share This/Compártelo

Interferencia de los SMS

Wed, 08 Aug 2007 03:14:44 +0000

No se si alguna vez escucharon los ruidos tipo "tucu tuc tucu tuc" que hacen los celulares cuando están cerca de micrófonos o parlantes... Bueno, el otro día estaba probando un algoritmo que estoy haciendo para el google summer of code (que requiere procesar voz en tiempo real, por lo que estaba con un headset con microfóno abierto) cuando me llegó un SMS al móvil que estaba a un par de metros mío y pude ver trenes de pulsos casi perfectos en el osciloscopio que monitoreaba la entrada de audio!!!

Se puede ver una captura de esto aca: "Catching (phone) SMS pulse train with CLAM..."

Era un tema que ya lo venia charlando con varios amigos, pero nadie (ni yo) me daba una explicación completa (y satisfactoria) del fenómeno.

Y dado que este hecho me resultó sumamente curioso y que ya un par de veces habia efectuado búsquedas en google sobre esto sin demasiado éxito, re-pregunté a varios e incluso postié en listas de mails y en mi blog sobre audio tratando de resolver lo que ya en este punto era casi un misterio para mí.

Un amigo de la facu, Andrés Kasulin, le echo un poco de luz al asunto con unos comentarios que me hizo e incluso encontró referencias sobre esto en un artículo de wikipedia.

Me dijo que parece ser interferencia de radiofrecuencia producida por el teléfono, filtrada por el sistema formado por el micrófono, cable, los conectores y el osciloscopio y que solo se ve un pulso cuadrado porque la frecuencia de la portadora es mucho más alta que la de corte del filtro (tal vez alrededor de 10^5 veces más).

Del artículo de wikipedia rescataría que comenta que esto normalmente ocurre cuando equipos de audio, televisores o computadoras están cerca del campo del aparato GSM, y la señal de radiofrecuencia es lo suficientemente fuerte como para que los amplificadores de estado sólido de los equipos de audio funcionen como detectores. Los ruidos en si provienen de la portadora de la señal TDMA y que esta forma de RFI (interferencia electromagnética) puede ser combatida o eliminada usando protecciones adicionales o capacitores de bypass, aunque el costo elevado de esto hace muy difícil que normalmente se justifique.

DSPrelated.com revamped

Fri, 20 Jul 2007 03:03:31 +0000

I knew this site because reunites a lot of dsp mailing-lists (mostly yahoo groups) and even comp.dsp usenet group. It's nice to see the new site design, fully web 2.0.

News include a (big) list of employers of DSP workers and a job opening section. Also a rating system that allows you to easily rate books and resources simply by clicking on the stars.

Seems social-networking and web 2.0 is reaching all fields (I'm also thinking in LinkedIn)

Check it out, I think it deserves a look.