José Hernández-Orallo porta més de dues dècades dedicat a una pregunta que avui resulta més urgent que mai, què sap realment fer una intel·ligència artificial, i què no. Catedràtic de Ciències de la Computació a la Universitat Politècnica de València i investigador del Institut VRAIN, compagina la seua activitat a València amb la de Sènior Research Fellow en el Leverhulme Centre for the Future of Intelligence de la Universitat de Cambridge, on el seu treball se centra en l’avaluació de les capacitats, la generalitat, el progrés i els riscos de la intel·ligència artificial.
Autor de The Measure of All Minds (Cambridge University Press, 2017), guardonat amb el PROSE Award 2018, ha construït marcs d’avaluació, eines de detecció de biaixos i mètriques de fiabilitat que avui empren reguladors, empreses tecnològiques i la comunitat científica internacional per a posar a prova els sistemes d’IA abans de confiar-los decisions. La seua investigació, publicada en revistes com Nature, Science o Communications of the ACM, ha sigut reconeguda enguany amb el Premi Aritmel dels Premis d’Investigació de la Societat Científica Informàtica d’Espanya (SCIE) i la Fundació BBVA 2026, que distingeix a investigadors de fins a 55 anys amb aportacions científiques particularment significatives en enginyeria informàtica. Aquest estiu, a més, ha sigut seleccionat com un dels 60 experts internacionals -i un de només tres espanyols- de la Comissió Tècnica Científica que assessorarà l’Oficina Europea d’Intel·ligència Artificial en l’aplicació de la Llei d’IA.
José és directe i clar. Parlem amb ell sobre els límits reals de la IA actual, els riscos de confondre rendiment amb intel·ligència, i el paper que Europa pot -o no- aspirar a tenir en un tauler dominat pels Estats Units i la Xina.
ENTREVISTA
- El Premi Aritmel de SCIE-BBVA distingeix aportacions científiques particularment significatives en enginyeria informàtica Què representa per a tu rebre el Premi Aritmel i quins aspectes de la teua carrera consideres que han sigut determinants per a obtenir-lo?
Significa un reconeixement a VRAIN, a l’ETSINF, i a un equip de col·laboradors amb els quals he crescut com a investigador, gràcies a la seua generositat. Ací he trobat la llibertat d’explorar les idees fins a les seues últimes conseqüències, com per exemple que la intel·ligència humana i artificial s’entenen i s’avaluen computacionalment. I l’única explicació que li trobe a aquest premi és que la meua pròpia incapacitat de fer més i millor que uns altres m’ha obligat a fer una cosa diferent.
- La teua tesi doctoral en lògica, amb premi extraordinari, va marcar l’inici d’un camí que avui et situa entre Cambridge i la UPV a València. Quan vas decidir que la teua investigació se centraria en mesurar amb rigor el que aquests sistemes d’IA realment són capaces de fer?
Mai he tingut un camí clar, però sí unes certes fascinacions i preguntes que m’han acompanyat fins i tot des de xiquet. Algunes molt càndides, com si era possible fer pensar un ZX Spectrum, aquest el meu primer ordenador de només 48K, que compartia amb el meu germà. Altres més sofisticades, com determinar que alguna cosa s’ha “comprès” –que no sols és un tret fonamental de la intel·ligència, però la nostra labor principal com a docents. Sempre he rebutjat aquells camins antropocèntrics que veien la intel·ligència com una cosa exclusivament humana o aquells que pretenien explicar una singularitat humana més enllà del món físic i de la computació. I després et marquen els llibres que llegia en els meus estius d’adolescent, com “El Mico Nu”, de Desmond Morris, “Escher, Gödel i Bach”, de Douglas Hofstadter, o fins i tot aquestes edicions de la història del pensament, on llegia des de Russell a Frege, intentant entendre si les lleis de la lògica són innates o adquirides. La resta és una mescla de caparrudesa i sort. Encara avui dia, no trobe pregunta més important i fascinant que entendre quins tipus d’intel·ligència poden existir. Des de la computació, des de la informàtica, intente recórrer aquest camí.
- La intel·ligència artificial generativa produeix respostes cada vegada més convincents i es parla amb freqüència que estem prop d’una IA general. Des d’una perspectiva científica com podem distingir entre un sistema que raona i un altre que únicament genera una resposta versemblant? quines capacitats hauria de demostrar per a considerar-la verdaderament general?
De la mateixa manera que fem amb els éssers humans, avaluem amb tests que tinguen validesa de mesura. En particular, ens han de permetre inferir capacitats i propensions que puguen predir i explicar quan un sistema intel·ligent és vàlid o no. Però els sistemes d’IA d’avui s’assemblen i difereixen dels humans a parts iguals, amb el que es requereixen tests inspirats en com s’avaluen la intel·ligència natural però que tinguen fonaments més sòlids, i que ens permeten establir perfils de capacitats i propensions. Aquesta és la investigació que realitzem. Analitzant aquests perfils, podem, per exemple, constatar nivells molt alts d’expressió lingüística o de raonament matemàtic en models com Claude Fable, però nivells més baixos en memòria episòdica o metacognició. El concepte de “generalitat” no és més que tenir un nivell alt en moltes capacitats, la qual cosa implica encertar sistemàticament en aquells problemes senzills que estan per davall d’aquests nivells. En els últims cinc anys hem vist un creixement molt important en pràcticament totes les capacitats, unes més que unes altres. No seria d’estranyar veure perfils suprahumanos en molt pocs anys.
- És possible establir mètriques objectives que permeten detectar biaixos i anticipar quan un sistema pot equivocar-se o comportar-se de manera poc fiable?
Sí, és possible. El millor de la IA, de la ciència de dades i la informàtica en general, és que podem utilitzar mètriques per a avaluar biaix i discriminació dels models, d’una manera robusta i sistemàtica, i fer correccions o retirar el sistema. Això és molt més difícil amb decisions humanes que moltes vegades ni es registren ni avaluen, però que també estan esbiaixades. En un article en Nature corroborem que els models de llenguatge no van millorar en fiabilitat entre 2023 i 2025. En un altre article en la mateixa revista enguany vam demostrar com podem predir si un model encertarà o no amb bastant fiabilitat. En altres paraules, tenim eines per a fer la IA més fiable, i això és una bona notícia.
- Has sigut seleccionat com un dels 60 experts independents que assessoraran l’Oficina Europea d’Intel·ligència Artificial i a autoritats nacionals en l’aplicació de la Llei d’IA Quins són els principals desafiaments?
La nostra principal missió és la IA de propòsit general amb risc sistèmic, com, per exemple, l’ús maliciós d’un model de llenguatge per a trobar vulnerabilitats noves en sistemes informàtics darrere de serveis crítics. Per part meua, vull aportar noves metodologies d’avaluació i anticipar com pot ser la intel·ligència (artificial, humana i híbrida) a final d’aquesta dècada.
- En quina mesura ens afecta la concentració de la IA en mans d’uns pocs? És possible una sobirania digital europea?
La concentració de la IA prové d’una concentració tecnològica en informàtica que arrosseguem des de fa dècades. Només cal mirar el mòbil i veure quantes aplicacions europees hi ha. És molt difícil revertir-ho, però una certa sobirania es pot aconseguir amb millor investigació, millor educació i millor regulació: un espai europeu on potser la IA capdavantera no es fa ací, on no ens tornem bojos per cremar CO₂, però on la societat l’entenga i on es gestione millor.
- En el teu llibre “The Measure of All Minds” proposaves una visió integrada de l’avaluació de la intel·ligència humana, animal i artificial. Què ha canviat en aquesta visió des de la seua publicació en 2017 fins a l’actualitat, amb la irrupció dels models generatius?
En 2017, es mesurava acompliment específic en tasques: des d’un classificador d’imatges fins a un traductor automàtic. Entendre el comportament de la IA a partir de capacitats i propensions de sistemes d’IA, de la mateixa manera que apliquem a aquests termes a animals humans i no humans, semblava fins i tot ridícul. Avui dia, el Code of Practice de l’EU AI Office i la comunitat científica en general parla en termes de capacitats i propensions. Després de deu anys, el meu llibre i jo tenim més canudes, però la visió és la mateixa: la tecnologia ha arribat per fi a un nivell on necessitem un major nivell d’abstracció per a entendre la intel·ligència artificial.
- Quin paper té VRAIN en el panorama internacional de l’avaluació d’IA, i què aporta la investigació valenciana a un debat i mercat dominat pels Estats Units?
VRAIN és una excepció de talent en un entorn hostil: poca inversió i burocratització abismal en la investigació espanyola. Crec que els valencians sempre hem hagut de traure d’on no hi ha, alçar-nos nosaltres mateixos. Per això veig companys de la UPV, en VRAIN, en l’ETSINF, o a Alcoi, que són veus importants en la IA. Hem de treballar amb els millors a Europa, amb els millors a la Xina, com s’està propulsant molt decididament en la UPV, i hem d’estar en les conferències top de la IA. Hem de preguntar-nos per a què serveix acumular revistes de no sé quin quartil que pocs citen i avui només la IA llig de principi a fi. Hem d’eixir de la zona de confort, tots els dies de l’any. Arriscar.
- A mesura que els sistemes es tornen més agénticos i autònoms, fa falta repensar per complet com mesurem capacitats, límits i riscos de la IA? quins són, al teu judici, els riscos reals que haurien de preocupar-nos en el present?
Hem tingut la sort que els sistemes d’IA d’altes capacitats fins ara han sigut bàsicament oracles de pregunta i resposta, i a causa del còmput que requereixen, centralitzats. Encara que aquest tipus d’IA no agéntica ja implica molts riscos, usat com a eina amb bones o males intencions, les amenaces d’un món poblat per milions de bots autonómos són molt majors i més complexes. El paradigma d’avaluació és el mateix, però les avaluacions més costoses, la interacció humana i l’ús de simulacions més necessari. Les propensions seran més importants fins i tot que les capacitats en els pròxims anys. La pregunta no és si un agent podrà fer X, si no si podem anticipar una situació que incite a l’agent a fer X.
- Quin consell donaries a l’estudiantat de l’ETSINF que comença a interessar-se per la intel·ligència artificial?
Que deixe de començar-se, i que vaja més enllà d’usar-la en les seues tasques acadèmiques. Que experimente, que innove amb ella, que la faça seua, des del purament digital amb models de llenguatge fins al més físic, la robòtica. I si els desmotiva un futur laboral molt incert, que pensen que la persona que entenga la IA entendrà el futur. Estar en l’ETSINF és una oportunitat, però també un compromís: la societat necessita un estudiantat informat, format i innovant per a i amb la IA. Aquesta sí que és la nostra sobirania.
***
José Orallo en els mitjans
Ací compartim els enllaços de com han arreplegat la notícia del seu premi Aritmel diferents mitjans:
València Plaza: L’investigador de la UPV José Hernández-Orallo, Premi Aritmel de la SCIE 2026 per la seua trajectòria científica internacional
València News: L’investigador de la UPV José Hernández-Orallo rep el Premi Nacional d’Informàtica Aritmel 2026
Novaciencia: José Hernádez-Orallo, rep el Premi Nacional d’Informàtica per la seua trajectòria científica internacional