Su próxima amenaza interna podría no ser humana

La Shadow AI agéntica está creando riesgos ocultos que requieren visibilidad, gobernanza y control.

Conclusiones principales

• La Shadow AI agéntica puede crear nuevas superficies de ataque no gestionadas sin visibilidad por parte de IT.
• Los agentes de IA no aprobados pueden acceder a archivos, bases de datos y aplicaciones de maneras que los usuarios no comprenden completamente.
• Las organizaciones necesitan formación, auditoría, monitorización y controles de confianza cero para reducir el riesgo.

Escribí mi primer artículo sobre la intersección de la IA y la seguridad de la información hace más de 10 años, antes de que ChatGPT existiera siquiera. Sabía mucho menos entonces de lo que sé ahora, pero quería darme una palmada en la espalda por una de mis predicciones:

A medida que seguimos perfeccionando el desarrollo de la IA débil como método de defensa, no pasará mucho tiempo antes de que se utilicen las mismas herramientas para diseñar el malware que se utiliza para atacar.

Esta predicción se ha cumplido de varias maneras, pero recientemente en forma de una nueva superficie de ataque: Shadow AI, una iteración del concepto de Shadow IT.

Shadow IT nunca desapareció

¿Recuerda Shadow IT? ¿El problema que tenía cuando los responsables de las unidades de negocio adoptaban nuevas aplicaciones sin la aprobación del departamento de IT?

Primero, intentó resolver este problema utilizando controles de Active Directory que impedían a los usuarios instalar software en sus portátiles de empresa. Luego llegó la nube, y cualquier jefe de departamento lo suficientemente astuto pudo comenzar a utilizar software empresarial no aprobado a través del navegador, sin descargar ningún archivo.

El problema con esto, como recordará, es que cualquier archivo descargado en la nube no autorizado estaba efectivamente fuera del perímetro de su organización y, por lo tanto, fuera de su control. Cualquier brecha que afectara al proveedor de nube podría implicar la pérdida de datos sensibles, y si sus usuarios no informaban sobre la brecha, no había forma de saberlo.

Con muchos de estos servicios que ahora incorporan IA agéntica, el riesgo de esta amenaza está a punto de multiplicarse. Una investigación de IBM muestra que más del 60% de las empresas afectadas por una brecha de datos relacionada con la IA no tenían controles de gobernanza sólidos relacionados con la inteligencia artificial. Mientras tanto, las brechas de datos asociadas a la IA cuestan casi $700,000 más que otros incidentes de seguridad.

¿Por qué es peor la Shadow AI agéntica que la Shadow IT?

Comencemos hablando sobre lo que implica la IA agéntica.

La mayoría de nosotros estamos familiarizados con la IA en forma de chatbot: le dices que haga tus deberes, escriba un blog (no este), o genere una imagen, procesa sus engranajes durante un minuto y luego proporciona lo que le pides, con o sin alucinaciones.

La IA agéntica es diferente porque tiene la capacidad de realizar acciones adicionales para lograr sus objetivos. Esto significa que puede acceder a archivos y bases de datos, controlar aplicaciones e incluso ejecutar comandos de terminal.

Aquí tiene un ejemplo:

• Le gustaría realizar un análisis en cada nuevo lote de tickets de soporte al cliente que reciba durante un periodo de 24 horas.
• Con un chatbot, selecciona manualmente los archivos que desea una vez cada 24 horas, los arrastra a la ventana del chatbot y ejecuta el prompt.
• Una IA agéntica accede a los archivos y ejecuta automáticamente su análisis, lo que significa que el usuario solo necesita ejecutar el prompt una vez.

Esto es conveniente desde la perspectiva del usuario y aterrador desde la perspectiva de la seguridad.

Calificando el riesgo de la Shadow AI agéntica

La Shadow AI agéntica es alarmante por dos razones.

Primero, un usuario puede indicarle a un agente que realice una tarea aparentemente inocua de manera insegura. Por ejemplo, supongamos que para ejecutar el trabajo de análisis mencionado anteriormente, el agente de IA construye una interfaz de programación de aplicaciones (API) entre una base de datos y una herramienta de análisis. La API funciona, pero como suele ocurrir con el software con código de vibración, no es particularmente segura.

El usuario no sabe que la API es insegura porque el usuario no es desarrollador de software. El departamento de IT no sabe que la API es insegura porque el departamento de IT no sabe que existe. En otras palabras, el usuario ha logrado que la IA cree una nueva superficie de ataque que los atacantes pueden explotar y que la organización no puede proteger.

En segundo lugar, recordemos que en este ejemplo, la IA agéntica no es conocida por el departamento de IT. No está protegida por la gestión de identidades y accesos (IAM), la autenticación de dos factores queda a discreción de los usuarios y no hay monitorización de brechas. Como resultado, los atacantes pueden robar credenciales. Una vez que el atacante controla las credenciales, puede relajarse y decirle al agente que entregue tus archivos en bandeja de plata.

Riesgos de la IA agentica en el entorno real

Entre el inicio de este artículo y su finalización, OpenAI divulgó un incidente de seguridad que resalta el riesgo de la IA agéntica.

Funciona así: OpenAI estaba probando un modelo experimental diseñado específicamente para pruebas de vulnerabilidades y explotación. La prueba se estaba llevando a cabo dentro de un entorno aislado con conectividad mínima al mundo exterior.

Durante la prueba, el agente de IA comenzó a creer (a falta de un término mejor) que podría realizar la prueba de manera más eficiente si tuviera acceso a un centro de modelos conocido como Hugging Face. Por lo tanto, la IA de manera independiente, y sin seguir ninguna instrucción, violó la base de datos de Hugging Face.

Este ejemplo no se corresponde exactamente con la Shadow AI agéntica, pero ilustra bien el riesgo potencial. Es fácil imaginar cómo un usuario podría pedirle a un agente de IA que realizara una tarea sin especificar límites de seguridad, lo que permitiría al agente completar dicha tarea de una forma que exponga a la empresa a riesgos. Es igualmente fácil imaginar cómo un atacante que se hiciera con el control de una herramienta de este tipo podría utilizar sus capacidades para llevar a cabo una filtración de datos de gran impacto con muy poco esfuerzo.

Protegerse contra el riesgo de la Shadow AI agéntica

Aunque la IA basada en agentes es una herramienta poderosa, los usuarios desprevenidos pueden usarla para exponer a una organización a riesgos serios, sin mencionar lo que podría hacer en manos de un atacante. Controlar estos riesgos requerirá un enfoque multivectorial.

1. Formación
   Los usuarios deben saber que al usar IA agéntica sin la aprobación del departamento de IT, podrían estar haciendo el equivalente a jugar con fuego. Formación de concienciación sigue siendo una de las formas más efectivas de prevención.
2. Auditoría
   Llevar un registro de la IA agéntica implica construir una base de datos central que debe incluir tres parámetros: quién posee el agente, a qué tiene acceso y cómo desactivarlo al final de su ciclo de vida. Esto ayuda a la organización a medir y clasificar los riesgos asociados con estas herramientas.
3. Monitorización
   Una buena noticia es que la monitorización de la Shadow AI y agéntica no es sustancialmente diferente de la monitorización para atacantes. Los agentes de IA aparecerán como tráfico saliente inusual, llamadas API persistentes, acceso atípico a archivos. Puede utilizar las mismas herramientas que usa para detectar intrusos para detectar agentes de IA no aprobados.

Falta una última pieza del rompecabezas: la confianza cero. La seguridad de red de confianza cero, que limita a los empleados a segmentos de red estrictamente definidos, establece las mismas limitaciones para los agentes no aprobados. Aunque un empleado aún podría acceder a modelos de IA, este enfoque limita su usabilidad, obligando efectivamente a los usuarios a colaborar con el departamento de IT para que sus agentes puedan seguir operando.

Controle la proliferación de Shadow AI agéntica con Zero Trust Network Access controles de Barracuda Networks. Solicite una demo para comenzar a establecer límites en la IA no controlada.