Guanyadors del Repte IberSpeech-RTVE

El grup de recerca MLLP (Machine Learning and Language Processing), de l'Institut VRAIN (Institut Valencià d'Investigació en Intel·ligència Artificial) de la UPV, ha obtingut el primer lloc en el Repte IberSpeech-RTVE 2020 de subtitulació automàtica per a televisió, i ha repetit així la victòria del 2018. Això consolida la tecnologia UPV-VRAIN-MLLP com la millor d'Espanya, i entre les millors del món, per a la subtitulació automàtica en directe de continguts televisius.

En aquesta edició, el repte ha consistit en un conjunt de proves cegues compost per 56 hores de discurs transcrit de 16 programes de televisió en espanyol de diferents característiques. El sistema primari d’MLLP ha aconseguit el primer lloc, en reduir la taxa d'error de paraula (WER n’és la sigla en anglès) al 16%. L’MLLP ha sigut l'únic grup que ha participat amb el seu propi equip de reconeixement de la parla en reproducció en directe (streaming) d'última generació no basada en Kaldi, el TLK transLectures de la UPV.

Javier Jorge Cano, investigador de l’MLLP ha explicat que “aquesta competició ha suposat una gran oportunitat per a avaluar els nostres sistemes sota condicions d'ús reals, lluny dels típics conjunts de dades acadèmics.” I ha afegit que “tot i que ja vam obtindre els millors resultats en 2018, aquesta edició plantejava un repte major, amb molta més diversitat i complexitat que l’anterior, per tant estem molt contents amb els resultats obtinguts amb el nostre sistema de reconeixement de veu”.

“Pot semblar ciència-ficció, però en realitat, no estem tant lluny d'aconseguir-ho”

“En el nostre grup fa vora 10 anys que investiguem i desenvolupem aquesta tecnologia pròpia de reconeixement de la parla, sempre amb una màxima: transferir-la al món real per a satisfer necessitats reals i aportar valor a la nostra societat”, explica Joan Albert Silvestre Cerdà, investigador de l’MLLP del VRAIN.

Des de l'any 2014 utilitzen la subtitulació automàtica en valencià, castellà i anglès per al repositori de vídeos docents UPVmèdia, que inclou els vídeos poliMèdia i poliTube, amb una qualitat de transcripció excel·lent, sense requerir cap intervenció humana. El 2019 van posar en marxa, juntament amb l’ASIC, el servei poliSubs, per a la subtitulació automàtica en temps real de ponències, congressos i conferències a la UPV.

“Tenim intenció de donar un impuls a aquest servei, i estendre'l cap a la subtitulació multilingüe i en directe de les classes impartides pel nostre professorat a les sales de videoapunts, un cas d'estudi que estem treballant molt intensament en el projecte d'investigació nacional Multisub del Ministeri de Ciència”, afegeix Joan Albert.

Per altra banda, convé destacar que aquesta tecnologia continuarà aplicant-se i desenvolupant-se en el marc de dos projectes de recerca europeus en els quals participen: EXPERT (Erasmus+) i TAILOR (H2020).

El seu objectiu final és orquestrar les tres tecnologies (reconeixement de la parla, traducció automàtica i síntesi de veu) per a aconseguir el doblatge automàtic integral de recursos audiovisuals amb clonació de veu. Això permetria, per exemple, doblar al polonès la veu d'un professor valencianoparlant en un vídeo poliMèdia, no amb una veu polonesa genèrica, sinó amb la seua pròpia veu, tot de manera automàtica. “Pot semblar ciència-ficció, però en realitat, no estem tant lluny d'aconseguir-ho”, apunta Joan Albert Silvestre.

Transferència a institucions i empreses

La tecnologia desenvolupada per l’MLLP ha sigut transferida a diferents institucions públiques i privades internacionals, entre les quals destaquen el Centre de Traducció de la Comissió Europea, les universitats de Potsdam (Alemanya), la de Lisboa, l'Oberta d'Holanda i la Carlos III de Madrid, la multinacional americana AppTek Inc. i l'empresa valenciana Tyris Software SL.

Recentment, han iniciat un projecte conjunt amb la radiotelevisió valenciana, À Punt, per a aplicar i integrar aquesta tecnologia en les seues emissions televisives, tant en directe com en diferit.