Creen una eina que permet que les persones sordes puguin fer ràdio amb una veu sintètica personalitzada

ACN Barcelona – Investigadors de la Universitat Pompeu Fabra (UPF) i la consultora tecnològica We Are Mortensen han creat una eina amb IA que permet per primer cop que les persones sordes signants puguin fer ràdio amb una veu sintètica personalitzada. El projecte neix per donar resposta a una necessitat molt concreta: la d’una alumna sorda que estudia Periodisme a la universitat i ha de participar en activitats radiofòniques. L’eina desenvolupada, SignarIA, capta signes de la llengua de signes catalana (LSC) a partir de computer vision i un model adaptat de llenguatge emetent la veu sintètica personalitzada en temps real. L’eina s’ha presentat ara en una jornada amb professionals de la comunicació i la comunitat sorda. 
Pel que fa a la construcció d’una veu personalitzada, es parteix d’una ‘donació’ de veu.  Concretament, el sistema combina l’empremta sonora latent de la persona sorda i la prosòdia i l’articulació de la persona donant, sovint un familiar. El resultat és una veu sintètica personalitzada amb el timbre potencial de la persona usuària.

Xavi Vinaixa, responsable tècnic del projecte, assenyala que “el gran repte ha estat l’escassetat de dades amb les quals compta una llengua doblement minoritzada com la LSC”.

IA per promoure la inclusió

La primera alumna sorda que cursa el grau de periodisme de la Universitat Pompeu Fabra en els 34 anys de la titulació va topar amb una barrera davant l’assignatura de primer ‘Teoria i tècniques del periodisme audiovisual l’, dedicada a la ràdio. En aquest context, l’estudiant va plantejar el repte de trobar una manera de cursar l’assignatura en igualtat de condicions que els seus companys. Llavors va haver de fer-ho a través del seu intèrpret. Ara, però, l’alumna cursa tercer i ha pogut participar directament en un taller radiofònic gràcies a l’eina SignarIA desenvolupada.

Així ho explica Marcel Mauri, director del Grau en Periodisme i investigador del projecte. “Hem aconseguit que l’estudiant, que va haver de cursar l’assignatura de primer a través del seu intèrpret, ara pugui tenir una participació directa al Taller Integrat de Periodisme de tercer, que inclou quinze hores setmanals de ràdio”, indica.  

Roger Cassany, cap d’estudis del grau de Periodisme, i investigador principal del projecte, explica que el prototip ja funciona, però cal millorar-lo. “Ara cal afinar-lo: el corpus, la computer vision, el model de llenguatge i, més endavant, caldrà explorar emocions amb la veu; però ja està disponible per a qualsevol usuari, només cal personalitzar-lo”, comenta. 

Desenvolupament de l’eina

A partir de la demanda de l’alumna quan cursava el primer curs de Periodisme, l’equip docent i investigador va iniciar un procés de recerca de solucions creatives per superar la barrera estructural que suposa la ràdio com a mitjà exclusivament auditiu. D’aquesta exploració va néixer una aliança entre la Universitat i We Are Mortensen, amb qui es va començar a treballar en el desenvolupament d’un prototip tecnològic que permetés transformar la llengua de signes catalana en una veu personalitzada. Per fer possible aquest desenvolupament, es va aconseguir finançament específic per impulsar el projecte.

A més de l’elaboració de l’eina, el projecte ha dut a terme dos grups de discussió: l’un amb persones sordes signants per analitzar els usos potencials de l’eina i valorar-ne l’impacte, i l’altre amb professorat de la Facultat de Comunicació per explorar l’aplicació de la tecnologia a l’aula i als locutoris de ràdio. El projecte ha generat dades de lliure accés per impulsar la recerca en reconeixement de la llengua de signes catalana (LSC).