- -
UPV
 

Guanyadors del Repte IberSpeech-RTVE

El grup VRAIN-MLLP de la UPV es consolida com a líder en subtitulació automàtica en directe per a televisió

[ 04/06/2021 ]

El grup de recerca MLLP (Machine Learning and Language Processing), de l'Institut VRAIN (Institut Valencià d'Investigació en Intel·ligència Artificial) de la UPV, ha obtingut el primer lloc en el Repte IberSpeech-RTVE 2020 de subtitulació automàtica per a televisió, i ha repetit així la victòria del 2018. Això consolida la tecnologia UPV-VRAIN-MLLP com la millor d'Espanya, i entre les millors del món, per a la subtitulació automàtica en directe de continguts televisius.

En aquesta edició, el repte ha consistit en un conjunt de proves cegues compost per 56 hores de discurs transcrit de 16 programes de televisió en espanyol de diferents característiques. El sistema primari d’MLLP ha aconseguit el primer lloc, en reduir la taxa d'error de paraula (WER n’és la sigla en anglès) al 16%. L’MLLP ha sigut l'únic grup que ha participat amb el seu propi equip de reconeixement de la parla en reproducció en directe (streaming) d'última generació no basada en Kaldi, el TLK transLectures de la UPV.

Javier Jorge Cano, investigador de l’MLLP ha explicat que “aquesta competició ha suposat una gran oportunitat per a avaluar els nostres sistemes sota condicions d'ús reals, lluny dels típics conjunts de dades acadèmics.” I ha afegit que “tot i que ja vam obtindre els millors resultats en 2018, aquesta edició plantejava un repte major, amb molta més diversitat i complexitat que l’anterior, per tant estem molt contents amb els resultats obtinguts amb el nostre sistema de reconeixement de veu”.

“Pot semblar ciència-ficció, però en realitat, no estem tant lluny d'aconseguir-ho”

“En el nostre grup fa vora 10 anys que investiguem i desenvolupem aquesta tecnologia pròpia de reconeixement de la parla, sempre amb una màxima: transferir-la al món real per a satisfer necessitats reals i aportar valor a la nostra societat”, explica Joan Albert Silvestre Cerdà, investigador de l’MLLP del VRAIN.

Des de l'any 2014 utilitzen la subtitulació automàtica en valencià, castellà i anglès per al repositori de vídeos docents UPVmèdia, que inclou els vídeos poliMèdia i poliTube, amb una qualitat de transcripció excel·lent, sense requerir cap intervenció humana. El 2019 van posar en marxa, juntament amb l’ASIC, el servei poliSubs, per a la subtitulació automàtica en temps real de ponències, congressos i conferències a la UPV.

“Tenim intenció de donar un impuls a aquest servei, i estendre'l cap a la subtitulació multilingüe i en directe de les classes impartides pel nostre professorat a les sales de videoapunts, un cas d'estudi que estem treballant molt intensament en el projecte d'investigació nacional Multisub del Ministeri de Ciència”, afegeix Joan Albert.

Per altra banda, convé destacar que aquesta tecnologia continuarà aplicant-se i desenvolupant-se en el marc de dos projectes de recerca europeus en els quals participen: EXPERT (Erasmus+) i TAILOR (H2020).

El seu objectiu final és orquestrar les tres tecnologies (reconeixement de la parla, traducció automàtica i síntesi de veu) per a aconseguir el doblatge automàtic integral de recursos audiovisuals amb clonació de veu. Això permetria, per exemple, doblar al polonès la veu d'un professor valencianoparlant en un vídeo poliMèdia, no amb una veu polonesa genèrica, sinó amb la seua pròpia veu, tot de manera automàtica. “Pot semblar ciència-ficció, però en realitat, no estem tant lluny d'aconseguir-ho”, apunta Joan Albert Silvestre.

Transferència a institucions i empreses

La tecnologia desenvolupada per l’MLLP ha sigut transferida a diferents institucions públiques i privades internacionals, entre les quals destaquen el Centre de Traducció de la Comissió Europea, les universitats de Potsdam (Alemanya), la de Lisboa, l'Oberta d'Holanda i la Carlos III de Madrid, la multinacional americana AppTek Inc. i l'empresa valenciana Tyris Software SL.

Recentment, han iniciat un projecte conjunt amb la radiotelevisió valenciana, À Punt, per a aplicar i integrar aquesta tecnologia en les seues emissions televisives, tant en directe com en diferit.

Notícies destacades


Projectes REMDE i DEBIO Projectes REMDE i DEBIO
La UPV demostra la usabilitat dels humans virtuals en el seu camí cap al reconeixement automàtic de símptomes depressius
"L'exili del 39 en el còmic. Vinyetes a la frontera" "L'exili del 39 en el còmic. Vinyetes a la frontera"
Obres gràfiques de creadors com Paco Roca, Manel Granell, Jordi Peidro o Ana Penyas, es converteixen en poderoses eines per a la transmissió de silenciades històries d'exili
La UPV desenvolupa un geoportal per a la prevenció de violència de gènere en els espais públics urbans La UPV desenvolupa un geoportal per a la prevenció de violència de gènere en els espais públics urbans
Segons l'ONU, l'assetjament sexual en els espais públics és un problema quotidià al qual s'enfronten dones i xiquetes en tots els països del món
Nova edició del CHALLENGE STEAM en la UPV Nova edició del CHALLENGE STEAM en la UPV
La iniciativa pretén acostar a l'alumnat infantil i juvenil a l'apassionant món de la programació, la robòtica, la impressió 3D, etc.
Un any de rècord Un any de rècord
La UPV va ingressar 116 milions d'euros en 2023 gràcies a la seua activitat en I+D+I, la xifra més alta de la seua història
El Santuario i Torrecilla El Santuario i Torrecilla
La UPV porta l'electricitat a dos llogarets d'Hondures construint plantes solars fotovoltaiques i capacitant a la població local



EMAS upv