El lado oscuro de la IA generativa: revelando el panorama de las amenazas de la IA

La IA generativa ha desatado un nuevo panorama de amenazas para el cibercrimen. Los grandes modelos de lenguaje (LLM), que alguna vez se usaron principalmente para fines legítimos, ahora se están utilizando como armas por parte de los actores de amenazas. Los foros clandestinos y los mercados de la dark web están repletos de «LLM oscuros», es decir, chatbots de IA personalizados o con jailbreak diseñados explícitamente para realizar actividades maliciosas. De hecho, las menciones a estas herramientas de IA maliciosas en los foros de ciberdelincuentes se dispararon más de un 219 % en 2024, señalando un cambio significativo en las tácticas empleadas por los mismos. 

Rápidamente se adoptaron algunas herramientas como WormGPT (un clon de ChatGPT sin censura), ayudando a los criminales a automatizar los ataques de phishing y de fraude del correo electrónico empresarial (BEC). A finales de 2024, según se informa, el bot de Telegram de WormGPT había alcanzado casi 3.000 usuarios (con cientos de suscriptores de pago), lo que destaca la creciente demanda de software delictivo impulsado por la IA. Porque estas herramientas de IA generativa maliciosas pueden escribir señuelos de phishing convincentes, generar código de malware indetectable, crear identidades falsas e incluso producir desinformación a gran escala. 

En esta serie de blogs, profundizaré en el lado oscuro de la IA generativa, examinando cuatro ejemplos destacados de herramientas de IA maliciosas: Evil-GPT, WolfGPT, DarkBard y PoisonGPT. En cada publicación se detallará cómo funcionan estas herramientas y cómo se aprovechan en las operaciones de ciberdelincuencia en el mundo real. Voy a dar una visión general de sus capacidades (desde la generación de phishing y la automatización del malware hasta la creación de propaganda), sus canales de promoción (desde los foros de la dark web hasta los grupos de Telegram) y las pruebas documentadas de su uso durante el último año. Por último, hablaré sobre las implicaciones estratégicas para la defensa empresarial y ofreceré recomendaciones para los CISOs y los equipos de seguridad con el fin de contrarrestar esta amenaza emergente.

Naturaleza de doble uso de la IA generativa

La IA generativa es un arma de doble filo: la misma tecnología que puede redactar correos electrónicos o escribir código de software también puede ser explotada con fines nefastos. Los LLM modernos, como GPT-3.5/4 de OpenAI o Bard de Google, son asistentes potentes con medidas de protección éticas integradas. Sin embargo, los criminales han encontrado formas de eludir estas medidas de seguridad, ya sea «jailbreakeando» los modelos públicos o utilizando modelos de código abierto para crear su propia IA sin restricciones. El resultado es una oleada de sistemas GPT maliciosos diseñados específicamente para el cibercrimen. Estas IA no autorizadas pueden generar código de malware, contenido de phishing, explotar scripts y mucho más bajo demanda, sin los filtros o limitaciones de contenido habituales.

Hay varios factores que lo hacen posible. En primer lugar, el auge de los LLM de código abierto proporciona modelos disponibles de forma gratuita, como GPT-J y LLaMA, que cualquier persona con suficiente experiencia puede configurar con datos maliciosos. Además, los actores de amenazas están compartiendo técnicas de jailbreak para manipular chatbots de IA legítimos a fin de que produzcan resultados dañinos. 

También ha surgido un próspero mercado clandestino que vende IA ilícita como servicio. Aquí, los ciberdelincuentes emprendedores ofrecen bots de «IA malvada» basados en suscripciones que prometen ser «sin límites»: una IA que producirá alegremente correos electrónicos de phishing, malware, noticias falsas o cualquier resultado ilegal que desee el comprador. Esta mercantilización de la IA generativa reduce la barrera de entrada para el cibercrimen: incluso los atacantes con habilidades limitadas pueden aprovechar la IA para aumentar enormemente la escala y la sofisticación de sus campañas. En resumidas cuentas, la IA generativa presenta un problema de doble uso, y la comunidad de seguridad se enfrenta ahora a las consecuencias de su uso malicioso e indebido.

¿Qué sigue?

En las próximas entradas de esta serie de blogs, analizaré en detalle cada una de las cuatro herramientas de IA maliciosas:

1. Evil-GPT: Voy a examinar las capacidades, las estrategias de promoción y las aplicaciones de ciberdelincuencia en el mundo real de esta herramienta denominada «el enemigo de ChatGPT».
2. WolfGPT: Esta IA oscura «mejorada» se centra en la creación de malware. Analizaré sus características y los riesgos potenciales que representa para la ciberseguridad.
3. DarkBard: Investigaré las capacidades únicas de esta herramienta conocida como el «gemelo malvado» de Google Bard, y cómo se puede utilizar para generar desinformación en tiempo real.
4. PoisonGPT: Esta herramienta es el ejemplo de la aplicación más oscura de la IA generativa para la desinformación. Hablaré de sus implicaciones y de los riesgos asociados a los ataques de la cadena de suministro de la IA.

Por último, hablaré sobre las implicaciones estratégicas para la defensa empresarial y daré recomendaciones prácticas para que los CISOs y los equipos de seguridad puedan contrarrestar estas amenazas emergentes.

Manténgase al tanto mientras navego por las complejidades del panorama de las amenazas de la IA y descubro los retos y estrategias que nos esperan en la lucha contra la IA generativa maliciosa.