La UPV participa en un proyecto europeo para proteger los sistemas de IA de ciberataques

La Universitat Politècnica de València (UPV) está trabajando en un proyecto europeo para proteger a los sistemas de inteligencia artificial de ciberataques. En concreto, el proyecto se centra en mejorar la seguridad de la IA frente a los llamados ataques adversarios (adversarial attacks). Estos ataques buscan engañar a la IA haciéndole que interprete datos maliciosos como buenos.

Según explica Salvador Cuñat, investigador del grupo SATRD de la Universitat Politècnica de València, estos ataques son especialmente críticos en áreas como la seguridad informática, la visión por computador o el procesamiento de Lenguaje Natural (NLP).

Por ejemplo, estos ataques pueden modificar el código de un malware para que el antivirus lo clasifique como inofensivo, crear correos electrónicos con pequeños cambios para que los detectores de phishing o spam no los reconozcan, modificar huellas digitales sintéticas para burlar sistemas de control de acceso; o modificar mínimamente un texto (errores ortográficos, símbolos invisibles) para engañar a un detector de discursos de odio o fake news. “

“Son ataques que pueden derivar en problemas leves (un modelo de IA que confunde un animal), pero también pueden provocar accidentes, fraudes, filtraciones de seguridad, de ahí la importancia de desarrollar nuevas herramientas para luchar contra ellos”, apunta Salvador Cuñat.

Así, entre los objetivos del proyecto destaca el desarrollo de una nueva plataforma de seguridad que permitirá hacer más robustos los sistemas de IA frente a este tipo de ataues cibernéticos. Además, plantea también la puesta en marcha de la herramienta Cyber Ranges, para entrenar profesionales de IA en ciberseguridad.

El proyecto se dirige fundamentalmente a desarrolladores de IA y analistas de datos, empresas y organizaciones de todos los sectores que incorporan la inteligencia artificial en su día a día, asociaciones industriales y proveedores de ciberseguridad, así como la comunidad científica.

“Este proyecto busca ofrecer más protección y resiliencia de los sistemas de IA frente a adversarial attacks y poner a su servicio nuevas herramientas para garantizar la seguridad y privacidad en la IA, pero también contribuir a una mayor confianza y a una adopción más amplia de la inteligencia artificial en Europa”, concluye Cuñat.

Financiado por la Unión Europea, a través del programa Horizon Europe (HORIZON-CL3-2023-CS-01, el proyecto CPAID está coordinado por Uni Systems Luxembourg Sàrl y concluirá en septiembre de 2027.