Printer friendly version
Share
News Release
Un avatar que se expresa en lengua de signos
25 June 2012
madrimasd
Investigadores de la Escuela Politécnica Superior de la Universidad
Autónoma de Madrid (UAM) han desarrollado una herramienta informática de
gran utilidad para personas con discapacidad auditiva. Además de generar
mensajes en lengua de signos a partir de textos y voz, expresa
características de “lenguaje corporal” a través de un personaje virtual.
La investigación que fundamenta este desarrollo tecnológico ha sido
publicada en la revista ‘International Journal of Human-Computer Studies’.
Un nuevo programa informático es capaz de generar de manera automática
mensajes en lengua de signos a partir de textos escritos o señales de voz.
Se trata de una tecnología innovadora dentro del campo que estudia la
interacción persona-computador, pues integra elementos del llamado
“lenguaje corporal” a través de un avatar (personaje virtual) que calcula
tanto los movimientos de brazos y manos como la postura corporal y la
expresión facial para representar los mensajes signados.
Este programa será una herramienta de gran utilidad para personas con
discapacidad auditiva, especialmente para las que nacieron con sordera o
la adquirieron en una edad muy temprana; casos en los que la baja
comprensión lectora impide obtener información de cualquier texto y la
única vía de comunicación es la lengua de signos.
El trabajo que ha dado lugar a este desarrollo fue publicado en la revista
International Journal of Human-Computer Studies por el grupo de
investigación Human Computer Technology Laboratory (HTCLab). Este grupo,
que pertenece a la Escuela Politécnica Superior de la Universidad Autónoma
de Madrid (UAM), lleva más de diez años trabajando en tecnologías de apoyo
para personas con diferentes discapacidades.
Lengua de signos y comunicación paralingüística
Tal y como sucedía con los primeros sintetizadores de voz, los mensajes
en lengua de signos representados por personajes virtuales pueden
percibirse robóticos y artificiales. Para mejorar esta percepción, los
investigadores del HTCLab vienen trabajando en la incorporación de
elementos paralingüísticos: elementos como el tono, la velocidad o la
intensidad que acompañan al mensaje y transmiten información adicional,
permitiendo que el receptor del mensaje conozca el estado anímico del
emisor y su relación con el contenido que está recibiendo.
La elección de qué elementos pueden integrarse no resulta sencilla. Dado
que el propio cuerpo se utiliza para generar el mensaje signado, un cambio
inadecuado motivado por el “lenguaje corporal” podría modificar el
mensaje. Por ejemplo: los puños cerrados se perciben como una actitud
agresiva. Si se cambia la forma de la mano para expresar emociones, se
cambia a la vez el signo y también su significado —es equivalente a que si
para expresar enfado cambiásemos todas las “a” por “o” (una “casa” con
enfado se convertiría en un “coso”)—. En suma, incluir información
emocional en el mensaje implicaría modificar el contenido del mismo,
perdiendo así el objetivo primordial del lenguaje, que es comunicar.
En su trabajo, el HTCLab demuestra que se pueden incluir ciertas
modificaciones en la síntesis de lengua de signos para transmitir
información paralingüística sin modificar el mensaje. Esto es algo que los
investigadores han logrado al generar varias versiones de un mismo
mensaje: una primera en la que éste se presenta con mayor tensión, y una
segunda en la que se presenta con mayor relajación; ambas a partir de una
representación neutra. Estas modificaciones se basan en el estudio de la
tensión muscular, la velocidad y aceleración en los movimientos y las
expresiones faciales.
Tensión muscular
La posición de las manos y la forma que adquieren son relevantes para el
mensaje en lengua de signos. Sin embargo, es posible variar la tensión
muscular sin modificar sustancialmente ambos. Supongamos que se coloca la
mano en una posición determinada frente al cuerpo. Es posible situar el
codo a lo largo de un arco sin modificar la posición de la mano.
Cuando los músculos del hombro se relajan la posición del codo baja y
cuando están en tensión el codo sube. Por lo tanto, variaciones en la
posición del codo se perciben como distintos niveles de tensión, sin
modificar para ello la posición de la mano; es decir, no varía el signo
representado. Además, la mano en sí misma presenta la misma forma, aunque
los músculos estén más tensos o relajados. Supongamos que se cierra el
puño, que puede estar simplemente cerrado con los músculos relajados, o se
puede apretar mostrando mayor tensión. En ambos casos se ve un puño
cerrado, con lo que el signo no varía.
Velocidad de los movimientos
Cuando una persona se encuentra en tensión, tiende a hablar de manera
acelerada y realizar gestos bruscos. La velocidad y aceleración de los
movimientos durante el lenguaje signado puede modificarse para incorporar
información paralingüística. No obstante, esta modificación debe hacerse
con sumo cuidado, ya que los movimientos de las manos se utilizan también
para representar el aspecto verbal en los signos.
Expresiones faciales
El último de los factores que se han incorporado en este trabajo es la
expresión facial. No es sorprendente que la expresión facial muestre el
estado anímico del locutor, siendo uno de los medios de los que disponen
las personas para comunicar información paralingüística. Sin embargo,
durante la comunicación en lengua de signos también se utiliza para
transmitir información morfológica o sintáctica. Al igual que con los
movimientos, se han definido una serie de expresiones faciales que
transmiten sensación de tensión, relajación o una actitud neutra.
Las personas sordas que han evaluado los resultados de este trabajo
identificaron correctamente las diferentes versiones (tensa, relajada y
neutra) de los mensajes. Adicionalmente, no encontraron ningún cambio en
el contenido del mensaje en lengua de signos.
Attached files
-
Imagen: Las tres versiones generadas para el signo que representa los conceptos “hoy”, “aquí” y “ahora”: a) Signo tenso, b) Signo normal, c) Signo relajado.