Cuando se habla de inteligencia artificial generativa, lo primero que suele venir a la cabeza son herramientas capaces de escribir textos, crear imágenes o responder preguntas. Pero la IA también puede servir para algo menos visible y mucho más profundo: ayudarnos a entender mejor cómo funcionamos las personas.

Hablar parece algo natural, casi automático. Abrimos la boca, pensamos una frase y la decimos. Pero detrás de cada palabra hay una coordinación extraordinariamente precisa entre pulmones, cuerdas vocales, lengua, labios, mandíbula y oído. Cada sonido deja una huella en la señal acústica. Y aprender a leer esas huellas es una forma de acercarse a una pregunta científica fundamental: ¿cómo producimos realmente el habla humana?

En los últimos años, la inteligencia artificial ha transformado de forma radical las tecnologías de voz. Hoy usamos reconocimiento automático del habla en asistentes virtuales, subtitulado automático, sistemas de dictado, servicios telefónicos inteligentes o herramientas de accesibilidad. En muchos contextos, estos sistemas ya alcanzan tasas de error muy bajas, lo que ha permitido que la voz se convierta en una forma habitual de interactuar con la tecnología.

Pero reconocer palabras no es lo mismo que comprender el habla. Ahora un equipo de la Universidad Politécnica de Madrid (UPM) en colaboración con el Massachussets Instituto of Technology (MIT) ha dado un paso más en esta dirección gracias a un sistema que utiliza la inteligencia artificial y otras herramientas para comprender mejor el proceso del habla y de su decodificación por parte del cerebro.

“Saber que una persona ha dicho una frase o qué persona la ha dicho son solo partes del problema. También importa cómo la ha dicho, qué ocurre en la señal acústica, qué movimientos del aparato fonador la han producido, cómo cambia la duración de las palabras según su posición en una frase o qué pistas permiten identificar los gestos articulatorios que hay detrás de cada sonido. Ahí es donde la investigación fundamental resulta imprescindible” explica José Luis Blanco, investigador de la UPM y coautor de los trabajos que forman parte de la triada de estudios que ha dado lugar a esta herramienta. “Además de construir mejores aplicaciones, hay que entender mejor el fenómeno. El caso del habla es especialmente complejo, porque combina física, biología, lingüística, ingeniería y comportamiento humano”, añade.

Más allá de entender lo que decimos

La inteligencia artificial generativa abre nuevas posibilidades en este terreno. Su uso va más allá de producir voz sintética o reconocer palabras, también ayuda a explorar patrones, generar datos controlados, analizar grandes conjuntos de señales y conectar teorías clásicas del habla con herramientas computacionales actuales.

Uno de los puntos de partida de los trabajos desarrollados por los investigadores de la UPM es la teoría de "landmarks" (marcadores) y las evidencias articulatorias. Formulada hace más de 25 años por el profesor Kenneth Stevens, del Massachusetts Institute of Technology, esta teoría plantea que la señal acústica del habla contiene marcas características que pueden relacionarse con los gestos articulatorios que la producen. Dicho de forma sencilla: en la voz quedan pistas de cómo se han movido la lengua, los labios o el tracto vocal para producir un determinado sonido, y estas pistas son las que verdaderamente permiten a nuestro cerebro decodificar el mensaje.

“Estas pistas nos permiten estudiar el habla desde dentro. No solo como una secuencia de palabras, sino como el resultado de un proceso humano, físico y articulatorio. Es una manera de ir más allá del ‘qué se ha dicho’ para acercarse al ‘cómo se ha producido’”, explica Mateo Cámara, otro de los investigadores de la UPM que participa en los estudios.

Estos trabajos avanzan en esa dirección. Combinan procesado de señal, inteligencia artificial, síntesis articulatoria, análisis acústico y conocimiento fonético para estudiar distintos aspectos fundamentales del habla, y aproximarse a esos "landmarks" de manera automática pero sistemática.

Una base de datos muy especial

Una de las contribuciones propone construir una base de datos de "landmarks" acústicos del léxico inglés mediante síntesis articulatoria con la ayuda de la IA. Esto permite generar habla de forma controlada a partir de modelos del aparato fonador y estudiar con mayor precisión qué eventos acústicos aparecen asociados a determinados gestos articulatorios.

Otra de los trabajos desarrolla precisamente un detector automático de "landmarks" basado en las evidencias acústicas combinando modelos avanzados de inteligencia artificial, como Conformer y HuBERT y ofrece resultados mucho más precisos que los desarrollados hasta la fecha. Este tipo de herramientas permite analizar grandes volúmenes de habla y detectar automáticamente eventos relevantes en la señal, algo que sería extremadamente costoso de realizar de forma manual.

El tercer trabajo estudia cómo se alargan las palabras en función de su posición dentro del enunciado. Este fenómeno, aparentemente pequeño, ofrece información muy valiosa sobre cómo organizamos el habla al comunicarnos: el ritmo, las pausas, el cierre de frases, la estructura prosódica y la forma en que el mensaje se despliega en el tiempo.

Una nueva forma de hacer investigación

Estos trabajos muestran también algo importante sobre cómo se hace hoy la investigación en inteligencia artificial aplicada al habla. Más allá de los buenos modelos y de los datos, se necesitan equipos multidisciplinares, capaces de aunar perfiles distintos y tareas complementarias: especialistas en fonética, investigadores en tecnologías del habla, expertos en procesado de señal, ingenieros de aprendizaje automático, personas capaces de construir bases de datos, diseñar experimentos, interpretar resultados y conectar la teoría con la práctica.

“ La investigación actual en IA no es una carrera de una sola persona contra la máquina. Es un trabajo colectivo donde cada perfil aporta una pieza distinta del problema. Estos trabajos tienen también un valor divulgativo. Nos ayudan a explicar que la inteligencia artificial no es solo una tecnología de consumo ni una herramienta para automatizar tareas. También puede ser una forma de mirar mejor la realidad, de estudiar fenómenos complejos y de abrir nuevas preguntas sobre algo tan cotidiano, y tan profundamente humano, como hablar”, explica el investigador de la UPM.

Los trabajos, que se han desarrollado en colaboración con el Speech Communication Group del Massachusetts Institute of Technology.serán presentados por el profesor Mateo Cámara en la conferencia internacional INTERSPEECH, una de las principales citas científicas mundiales en tecnologías del habla que se celebrará a finales de este mes en Australia.

Referencias

An Acoustic Landmark Database of the English Lexicon via Articulatory Synthesis: arxiv.org/abs/2606.23220

Acoustic Landmark Detector based on Conformer and HuBERT: arxiv.org/abs/2606.23228

Word Lengthening as a Function of Utterance Position: A Multi-Corpus Study: arxiv.org/abs/2606.23232