- -
UPV
 

Guanyadors del Repte IberSpeech-RTVE

El grup VRAIN-MLLP de la UPV es consolida com a líder en subtitulació automàtica en directe per a televisió

[ 04/06/2021 ]

El grup de recerca MLLP (Machine Learning and Language Processing), de l'Institut VRAIN (Institut Valencià d'Investigació en Intel·ligència Artificial) de la UPV, ha obtingut el primer lloc en el Repte IberSpeech-RTVE 2020 de subtitulació automàtica per a televisió, i ha repetit així la victòria del 2018. Això consolida la tecnologia UPV-VRAIN-MLLP com la millor d'Espanya, i entre les millors del món, per a la subtitulació automàtica en directe de continguts televisius.

En aquesta edició, el repte ha consistit en un conjunt de proves cegues compost per 56 hores de discurs transcrit de 16 programes de televisió en espanyol de diferents característiques. El sistema primari d’MLLP ha aconseguit el primer lloc, en reduir la taxa d'error de paraula (WER n’és la sigla en anglès) al 16%. L’MLLP ha sigut l'únic grup que ha participat amb el seu propi equip de reconeixement de la parla en reproducció en directe (streaming) d'última generació no basada en Kaldi, el TLK transLectures de la UPV.

Javier Jorge Cano, investigador de l’MLLP ha explicat que “aquesta competició ha suposat una gran oportunitat per a avaluar els nostres sistemes sota condicions d'ús reals, lluny dels típics conjunts de dades acadèmics.” I ha afegit que “tot i que ja vam obtindre els millors resultats en 2018, aquesta edició plantejava un repte major, amb molta més diversitat i complexitat que l’anterior, per tant estem molt contents amb els resultats obtinguts amb el nostre sistema de reconeixement de veu”.

“Pot semblar ciència-ficció, però en realitat, no estem tant lluny d'aconseguir-ho”

“En el nostre grup fa vora 10 anys que investiguem i desenvolupem aquesta tecnologia pròpia de reconeixement de la parla, sempre amb una màxima: transferir-la al món real per a satisfer necessitats reals i aportar valor a la nostra societat”, explica Joan Albert Silvestre Cerdà, investigador de l’MLLP del VRAIN.

Des de l'any 2014 utilitzen la subtitulació automàtica en valencià, castellà i anglès per al repositori de vídeos docents UPVmèdia, que inclou els vídeos poliMèdia i poliTube, amb una qualitat de transcripció excel·lent, sense requerir cap intervenció humana. El 2019 van posar en marxa, juntament amb l’ASIC, el servei poliSubs, per a la subtitulació automàtica en temps real de ponències, congressos i conferències a la UPV.

“Tenim intenció de donar un impuls a aquest servei, i estendre'l cap a la subtitulació multilingüe i en directe de les classes impartides pel nostre professorat a les sales de videoapunts, un cas d'estudi que estem treballant molt intensament en el projecte d'investigació nacional Multisub del Ministeri de Ciència”, afegeix Joan Albert.

Per altra banda, convé destacar que aquesta tecnologia continuarà aplicant-se i desenvolupant-se en el marc de dos projectes de recerca europeus en els quals participen: EXPERT (Erasmus+) i TAILOR (H2020).

El seu objectiu final és orquestrar les tres tecnologies (reconeixement de la parla, traducció automàtica i síntesi de veu) per a aconseguir el doblatge automàtic integral de recursos audiovisuals amb clonació de veu. Això permetria, per exemple, doblar al polonès la veu d'un professor valencianoparlant en un vídeo poliMèdia, no amb una veu polonesa genèrica, sinó amb la seua pròpia veu, tot de manera automàtica. “Pot semblar ciència-ficció, però en realitat, no estem tant lluny d'aconseguir-ho”, apunta Joan Albert Silvestre.

Transferència a institucions i empreses

La tecnologia desenvolupada per l’MLLP ha sigut transferida a diferents institucions públiques i privades internacionals, entre les quals destaquen el Centre de Traducció de la Comissió Europea, les universitats de Potsdam (Alemanya), la de Lisboa, l'Oberta d'Holanda i la Carlos III de Madrid, la multinacional americana AppTek Inc. i l'empresa valenciana Tyris Software SL.

Recentment, han iniciat un projecte conjunt amb la radiotelevisió valenciana, À Punt, per a aplicar i integrar aquesta tecnologia en les seues emissions televisives, tant en directe com en diferit.

Notícies destacades


Referent en la universitat espanyola Referent en la universitat espanyola
El programa Generació Espontánia de la UPV celebra el seu primer congres al campus de Vera
Dos premis Nobel a la UPV Dos premis Nobel a la UPV
Roger Kornberg y Ben Feringa han visitat el campus de Vera
Rànquing 'El Mundo' Rànquing 'El Mundo'
La UPV, millor universitat d'Espanya per a estudiar Biotecnologia, Belles Arts, i Ciència i Tecnologia dels Aliments
Technovation Girls CV Technovation Girls CV
La UPV ha acollit la final de la competició, en la qual xiquetes i joves d'entre 8 i 18 anys desenvolupen les seues pròpies aplicacions
Matriculem-nos en valencià Matriculem-nos en valencià
La UPV promou la campanya que incideix en l'objectiu de triar el valencià com a llengua de la docència
Normativa de Progrés i Permanència Normativa de Progrés i Permanència
La UPV aprova flexibilitzar les condicions de progrés del seu alumnat. Només serà necessari aprovar 12 crèdits en el primer any d'universitat

EMAS upv