{"id":2984,"date":"2021-08-13T12:26:19","date_gmt":"2021-08-13T12:26:19","guid":{"rendered":"https:\/\/blog.rastersoft.com\/?p=2984"},"modified":"2021-08-13T13:14:59","modified_gmt":"2021-08-13T13:14:59","slug":"daisy-daisy","status":"publish","type":"post","link":"https:\/\/blog.rastersoft.com\/?p=2984","title":{"rendered":"Daisy, Daisy…"},"content":{"rendered":"\n

Recientemente, Alva Majo, desarrollador de videojuegos indie<\/a> y youtuber, public\u00f3 un v\u00eddeo donde explicaba c\u00f3mo cre\u00f3 Alvabot, un sintetizador de habla<\/a> que utilizaba muestras de su propia voz. Como, adem\u00e1s, hizo p\u00fablico el c\u00f3digo fuente y las muestras de voz, decid\u00ed que pod\u00eda ser divertido intentar llevarlo un poco m\u00e1s all\u00e1 y hacer que cantase. \u00a1Y lo he conseguido!<\/p>\n\n\n\n

El c\u00f3digo y las muestras de cantabot<\/em> est\u00e1n disponibles en mi repositorio GIT<\/a> bajo una licencia MIT\/Expat<\/a> (que viene a ser equivalente al \u00abhaz lo que te de la gana\u00bb con la que distribuy\u00f3 Alva Majo su c\u00f3digo original). Tambi\u00e9n est\u00e1n disponibles las peque\u00f1as utilidades que us\u00e9 para reconstruir las muestras y adaptarlas para la tarea.<\/p>\n\n\n\n

El proceso fue algo alambicado, pero al final no tiene mucha ciencia. Obviamente, si hubiese querido conseguir mejores resultados tendr\u00eda que haber utilizado otras t\u00e9cnicas, pero la idea era hacer s\u00f3lo un peque\u00f1o divertimento.<\/p>\n\n\n\n

En primer lugar escrib\u00ed una peque\u00f1a herramienta en Python<\/a> (analizador.py<\/a><\/em>, disponible en el repositorio) que me permite ver la forma de onda de un fichero WAV, escoger un trozo entre dos puntos concretos, calcular la frecuencia de dicha onda, y cortar entre los m\u00e1ximos de dicho trozo (todo esto lo explicar\u00e9 mejor a continuaci\u00f3n). Gracias a que Python tiene m\u00f3dulos para todo, no necesit\u00e9 programar casi nada, sino que ha sido m\u00e1s una operaci\u00f3n \u00abde pegar cosas\u00bb.<\/p>\n\n\n\n

As\u00ed, tom\u00e9 los samples<\/em> de las vocales y utilic\u00e9 la herramienta anterior para revisar la forma de onda de cada una (en este art\u00edculo denominar\u00e9 sample<\/em> a cada fichero de audio con el sonido de una vocal o una consonante; y utilizar\u00e9 el t\u00e9rmino muestra<\/em> para referirme a cada uno de los datos de sonido que hay dentro de cada fichero; esto es: cada \u00abn\u00famero\u00bb dentro del fichero .WAV ser\u00e1 una muestra<\/em>).<\/p>\n\n\n\n

Aqu\u00ed vemos una ampliaci\u00f3n de la vocal A, tal y como se ve en la herramienta:<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n

Si nos fijamos, vemos que parece que hay cierta \u00abrepetici\u00f3n\u00bb. O sea: la onda no es \u00abaleatoria\u00bb, sino que parece que hay un bloque que se repite en el tiempo (como se puede apreciar por esos picos espaciados de manera regular). Es verdad que la amplitud (la altura) no es constante, pero eso es simplemente porque Alva es un ser humano, y por mucho empe\u00f1o que ponga es imposible que mantenga exactamente la misma intensidad durante toda la vocal, sino que inevitablemente subir\u00e1 y bajar\u00e1 un poco en el tiempo.<\/p>\n\n\n\n

Para verlo mejor, ampliemos un trozo:<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n

Aqu\u00ed ya se ve mucho mejor c\u00f3mo la vocal es, en realidad, un trocito de sonido que se repite una y otra vez. En esta imagen concreta lo vemos repetido cinco veces. Esto significa que si creamos un sample<\/em> con s\u00f3lo ese trozo, podremos repetirlo en bucle y conseguir que el ordenador pronuncie una vocal durante todo el tiempo que queramos, sin que se noten cortes, ligaduras ni nada por el estilo. Esto es fundamental a la hora de cantar porque cada nota puede tener una duraci\u00f3n diferente a las dem\u00e1s, y son justo las vocales las que se \u00abestiran\u00bb en el tiempo para cubrir todo el tiempo que dura una nota.<\/p>\n\n\n\n

Aqu\u00ed es donde mi herramienta analiza.py<\/em> me pide dos puntos en la gr\u00e1fica. El primero tiene que estar un poco ANTES de uno de los m\u00e1ximos, y el segundo un poco DESPU\u00c9S del siguiente m\u00e1ximo. Entonces, la herramienta busca hacia adelante el valor m\u00e1ximo local desde el primer punto, y hacia atr\u00e1s desde el segundo punto, para as\u00ed recortar con precisi\u00f3n el trozo peri\u00f3dico. Para la vocal A utilic\u00e9 1668 y 2023, marcados en rojo en la imagen, y que como vemos caen justo cerca de dos m\u00e1ximos consecutivos. El propio programa busca los m\u00e1ximos, los cuales est\u00e1n en 1697 y 2001.<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n

Lo segundo que hice fue calcular la frecuencia fundamental de cada vocal. Para los que no sepan a qu\u00e9 me refiero, la frecuencia fundamental determina la \u00abnota\u00bb en la que est\u00e1 sonando la vocal. Cuando mayor sea la frecuencia, m\u00e1s alta en la escala ser\u00e1 la nota. Al principio hice algunas pruebas con la transformada de Fourier<\/a>, hasta que me di cuenta de que no necesitaba complicarlo tanto, pues simplemente con saber el n\u00famero de muestras que hay en el \u00abtrozo\u00bb repetitivo y la frecuencia de muestreo, ya puedo obtener la frecuencia fundamental del sample<\/em>.<\/p>\n\n\n\n

As\u00ed, por ejemplo, si decidimos utilizar para la vocal A el bloque situado entre los picos de las muestras 1697 y 2001, vemos que hay un total de 304 muestras en \u00e9l, lo que significa que si dividimos la frecuencia de muestreo de este fichero .WAV (que es de 44100 muestras\/segundo) entre dicho valor, nos dar\u00e1 que la frecuencia a la que Alva pronunci\u00f3 la letra A es de 145 Hz.<\/p>\n\n\n\n

Repitiendo este proceso para las cinco vocales, sale que cada una fue pronunciada con estas frecuencias:<\/p>\n\n\n\n

vocal A: muestras 1697 a 2001, 145 Hz
vocal E: muestras 555 a 855, 147 Hz
vocal I: muestras 2968 a 3242, 161 Hz
vocal O: muestras 2246 a 2544, 148 Hz
vocal U: muestras 3027 a 3317, 152 Hz<\/p>\n\n\n\n

Esto demuestra que Alva Majo NO es un robot, pues no es capaz de afinar correctamente. Por eso cada vocal tiene una frecuencia diferente.<\/p>\n\n\n\n

Afortunadamente, una vez que tenemos ya aislado el bloque peri\u00f3dico de cada vocal, ajustar su frecuencia es muy sencillo: s\u00f3lo necesitamos hacer que todas midan lo mismo (pues la frecuencia fundamental depende del tama\u00f1o del bloque y de la frecuencia de muestreo; como la frecuencia de muestreo tiene que ser la misma para todos los samples<\/em>, tenemos que conseguir que el n\u00famero de muestras sea igual). Si calculamos la media de todas esas frecuencias, nos salen 150 Hz, as\u00ed que ajustaremos todas a ese valor para evitar tener que desplazarlas demasiado. Y si ahora dividimos la tasa de muestreo entre esa cifra, nos sale que cada bloque debe tener 44100\/150 = 294 muestras. Por supuesto, no se trata de a\u00f1adir, por ejemplo, ceros al final, porque entonces estar\u00edamos modificando la se\u00f1al. Lo que necesitamos es \u00abinventarnos\u00bb muestras en medio para estirarla si es demasiado corta, o \u00abtirar a la basura\u00bb muestras si es demasiado larga. Por supuesto, si a\u00f1adimos muestras \u00e9stas deben \u00abencajar\u00bb con las que las rodean; y si quitamos muestras, debemos hacerlo de manera \u00abrepartida\u00bb. Esto, como no, tiene un nombre: remuestreo o cambio de tasa de muestreo<\/a>, y el m\u00f3dulo scipy<\/em> incluye una funci\u00f3n llamada resample()<\/em> que lo hace. As\u00ed que en la parte final de la herramienta hago una llamada a dicha funci\u00f3n para ajustar cada sample<\/em> justo antes de grabarlo en disco.<\/p>\n\n\n\n

Para poder evaluar los resultados, podemos comparar el antes<\/em>:<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n

Para hacer esto escrib\u00ed otra peque\u00f1a herramienta, cortar_consonantes.py<\/a><\/em>, la cual carga un fichero .WAV, muestra su forma de onda para que podamos buscar dos muestras que delimiten un periodo de la vocal, y nos pide que tecleemos su posici\u00f3n. Con ellas calcula la frecuencia a la que est\u00e1 pronunciada y tambi\u00e9n cuanto tiene que estirar o encoger todo el fichero WAV para ajustarlo a los 150 Hz que decidimos que ser\u00eda nuestra frecuencia central.<\/p>\n\n\n\n

Una vez que est\u00e1 ajustada, nos pide el n\u00famero de muestra en la que realizar el corte para separar la consonante de la vocal. Como no es f\u00e1cil acertar, lo que hice es que, tras dar un punto de corte, reproduzca la consonante seguida de la vocal \u00abI\u00bb (para lo cual, utilizo los samples<\/em> que gener\u00e9 antes). De esta manera, si se recorta demasiado poco y se cuela parte de la vocal original, sonar\u00e1 AIIIIIII en lugar de IIIIIII. As\u00ed podremos ir ajustando hasta encontrar el punto \u00f3ptimo de cada consonante. Cuando hayamos encontrado el punto exacto, simplemente pulsamos RETURN en lugar de meter un nuevo n\u00famero y el programa grabar\u00e1 el nuevo sample<\/em> con s\u00f3lo la consonante, ya ajustada a 150 Hz.<\/p>\n\n\n\n

Algunas consonantes, pese a todo, son sonoras, lo que significa que SI est\u00e1n formadas por una zona repetitiva. En concreto, para la B, la M y la N utilic\u00e9 el mismo sistema que para las vocales, pues se entend\u00edan mucho mejor que extray\u00e9ndolas \u00abtal cual\u00bb de los samples<\/em>.<\/p>\n\n\n\n

Haciendo que hable<\/h2>\n\n\n\n

Ahora que ya tenemos los sonidos vocales y consonantes aislados y a la misma frecuencia, podemos hacer una primera prueba que se limite a hablar. Para ello escrib\u00ed hablar.py<\/em>, que generar\u00e1 un fichero habla.wav<\/em> en el que pronunciar\u00e1 la frase que se le pase por la propia l\u00ednea de comandos.<\/p>\n\n\n\n

Lo primero que hace este programa es sustituir las letras por fonemas, de manera que no hace falta pensar en sonidos sino que podemos escribir directamente una frase. Adem\u00e1s, si alguna vocal tiene tilde la pronunciar\u00e1 a una frecuencia ligeramente superior, lo que permite simular la entonaci\u00f3n de las frases. En teor\u00eda se podr\u00eda hacer que fuese completamente autom\u00e1tico, y que si una palabra no tiene tilde, compruebe si acaba en n<\/em>, s<\/em> o vocal<\/em> y, en base a ello, determine si es aguda o llana y ponga la tilde autom\u00e1ticamente, pero no me apeteci\u00f3 ponerme con ello, as\u00ed que hay que hacerlo a mano<\/em>.<\/p>\n\n\n\n

Ejemplo: \u00abH\u00f3la, s\u00f3y cantab\u00f3t habl\u00e1ndo.\u00bb<\/p>\n\n\n\n

Y haciendo que cante<\/h2>\n\n\n\n

Y por \u00faltimo, est\u00e1 la herramienta final, cantar.py<\/em>, que genera un fichero .WAV con una canci\u00f3n generada con las muestras.<\/p>\n\n\n\n

El programa se compone de una clase con dos m\u00e9todos fundamentales: interpreta()<\/em> y pausa()<\/em>. Estos dos m\u00e9todos se deben ir llamando para introducir<\/em> la partitura y la letra de la canci\u00f3n. Cada llamada renderiza<\/em> los sonidos correspondientes, que se van a\u00f1adiendo a un buffer interno. Cuando la canci\u00f3n est\u00e1 lista, se llama al m\u00e9todo grabar()<\/em>, que lo almacenar\u00e1 en disco en formato WAV con el nombre canta.wav<\/em>.<\/p>\n\n\n\n

El m\u00e9todo pausa<\/em> es el m\u00e1s sencillo, y simplemente recibe como par\u00e1metro un n\u00famero decimal con el n\u00famero de segundos de silencio que se deben a\u00f1adir al buffer. Permite a\u00f1adir silencios entre notas.<\/p>\n\n\n\n

El m\u00e9todo interpreta<\/em> es el m\u00e1s complejo, y recibe tres par\u00e1metros:<\/p>\n\n\n\n