OpenAI comparte advertencia de ciberseguridad sobre modelos de IA

Navegando por la espada de doble filo de la innovación en IA y las ciberamenazas

Conclusiones

• OpenAI advierte que los futuros modelos de IA, especialmente aquellos basados en grandes modelos de lenguaje (LLMs), tendrán capacidades avanzadas de ciberseguridad que podrían ser explotadas por ciberdelincuentes.
• La empresa está supervisando el uso del modelo para detectar actividades inseguras y colaborando con organizaciones de red-teaming para reforzar las medidas de seguridad.
• Aardvark, un agente de IA entrenado para la investigación de seguridad, está en beta privada para ayudar a los desarrolladores y equipos de seguridad a identificar vulnerabilidades, con cobertura gratuita para ciertos proyectos de código abierto.
• Iniciativas como el proyecto de seguridad GenAI de OWASP y la taxonomía de NIST para la seguridad de IA están ayudando a las organizaciones a comprender y mitigar amenazas emergentes a medida que la tecnología de IA evoluciona.

OpenAI está advirtiendo que la próxima generación de modelos de inteligencia artificial (IA) basados en sus grandes modelos de lenguaje (LLMs) tendrán altos niveles de capacidades de ciberseguridad que podrían ser potencialmente abusadas por los cibercriminales.

Específicamente, los equipos de ciberseguridad deben esperar que los cibercriminales utilicen LLMs para desarrollar exploits de día cero remotos en sistemas bien defendidos o para ayudar con intrusiones complejas y sigilosas, según una publicación de blog compartida por OpenAI.

OpenAI está trabajando para minimizar cualquier posible uso indebido de sus modelos, entre otras cosas, entrenando al modelo para responder de manera segura a solicitudes que podrían permitir un claro abuso cibernético, mientras sigue siendo útil para casos de uso educativo y defensivo.

Además, OpenAI se compromete a seguir supervisando el uso de sus LLM para detectar actividades no seguras, las cuales bloqueará o redirigirá a modelos menos capaces. Al mismo tiempo, la empresa está trabajando con organizaciones de red-teaming para evaluar y mejorar sus medidas de seguridad.

OpenAI también planea agregar un programa de acceso de confianza a través del cual explorará proporcionar a los usuarios calificados y clientes que trabajan en ciberdefensa acceso escalonado a capacidades mejoradas del modelo de IA para casos de uso defensivo, además de establecer el Consejo de Riesgo de Frontier, un grupo asesor a través del cual profesionales experimentados en seguridad trabajarán en estrecha colaboración con sus equipos. OpenAI también está trabajando con el Foro de Modelos Frontier, un consorcio sin ánimo de lucro dedicado a una comprensión compartida de modelos de amenazas y mejores prácticas.

Por último, OpenAI señaló que también está poniendo Aardvark a disposición del público en una versión beta privada. Aardvark es un agente de IA que ha sido entrenado para ser un investigador de seguridad y ayudar a los desarrolladores y equipos de seguridad a encontrar y corregir vulnerabilidades. La organización también tiene previsto ofrecer cobertura gratuita a determinados repositorios de código abierto no comerciales para mejorar las cadenas de suministro de software.

Equilibrio entre la innovación en IA y los riesgos emergentes de ciberseguridad

Por supuesto, los modelos de IA desarrollados por OpenAI son ahora solo una de las muchas opciones disponibles, muchas de las cuales seguirán avanzando de manera similar en cuanto a cómo pueden ser utilizadas indebidamente por actores malintencionados. De hecho, Anthropic reveló el mes pasado que un grupo de amenaza estatal con sede en China abusó de su modelo de IA Claude para ayudar a lanzar una serie de ataques de ciberespionaje que podrían servir como un modelo de cómo la IA y los agentes asociados pueden ser utilizados por cibercriminales en el futuro.

El grupo sin nombre utilizó Claude Code para atacar a más de dos docenas de organizaciones en una campaña que automatizó entre el 80 % y el 90 % del trabajo, y en la que solo se necesitó intervención humana en cuatro o seis puntos críticos de decisión para cada ataque.

Afortunadamente, otras organizaciones están trabajando para ayudar a mejorar la seguridad de IA. Más recientemente, el proyecto OWASP GenAI Security publicó una lista de las 10 principales amenazas potenciales de seguridad que las organizaciones probablemente encontrarán al construir y desplegar agentes de IA, y el Instituto Nacional de Estándares y Tecnología de EE. UU. (NIST) está desarrollando una taxonomía de ataques y mitigaciones para asegurar los agentes de IA.

En este momento, no cabe duda de que, desde el punto de vista de la ciberseguridad, la IA es un arma de doble filo. La esperanza es que, en última instancia, los equipos de ciberseguridad se beneficien más de la IA que sus adversarios. Sin embargo, a la vista de los primeros indicios, tal vez sea prudente que los equipos de ciberseguridad empiecen a prepararse ya para lo que podría ser el peor de los resultados posibles.