Threat Spotlight: Cómo los atacantes envenenan las herramientas y defensas de IA

Barracuda ha informado sobre cómo la IA generativa se está utilizando para crear y distribuir correos electrónicos de spam y elaborar ataques de phishing altamente persuasivos. Estas amenazas continúan evolucionando y escalando, pero no son las únicas formas en que los atacantes aprovechan la IA.

Los investigadores de seguridad están observando ahora que los actores de amenazas manipulan las herramientas de IA de las empresas y alteran sus características de seguridad de IA para robar y comprometer información y debilitar las defensas de un objetivo.

Ataques por correo electrónico dirigidos a asistentes de IA

Los asistentes de IA y los modelos de lenguaje grande (LLMs) que respaldan su funcionalidad son vulnerables al abuso.

Los analistas de amenazas de Barracuda han encontrado ataques donde las solicitudes maliciosas están ocultas dentro de correos electrónicos de apariencia inofensiva. Esta carga útil maliciosa está diseñada para manipular el comportamiento de los asistentes de información basados en IA del objetivo.

Por ejemplo, una vulnerabilidad de día cero recientemente reportada — y corregida — en el asistente de IA de Microsoft 365, Copilot, podría permitir a cualquiera extraer información de una red sin autorización. Los atacantes pueden explotar esto para recopilar y exfiltrar información sensible de un objetivo.

Lo hacen aprovechando la capacidad de los asistentes internos de IA para buscar y recopilar datos contextuales de correos electrónicos internos, mensajes y documentos al responder consultas o completar tareas.

• Primero, los atacantes envían a uno o más empleados un correo electrónico aparentemente inofensivo que contiene una carga útil de comando malicioso oculta e incrustada.
• Este correo electrónico no requiere ninguna interacción por parte del usuario y permanece de forma inofensiva en su bandeja de entrada.
• Cuando el empleado pide ayuda al asistente de IA para realizar una tarea o consulta, el asistente escanea correos electrónicos, archivos y datos antiguos para proporcionar contexto a su respuesta. Como resultado, el asistente de IA se infecta involuntariamente con el aviso malicioso.
• El mensaje malicioso podría entonces pedir al asistente de IA que exfiltre silenciosamente información sensible, ejecute comandos maliciosos o altere datos.

Los correos electrónicos maliciosos también intentan manipular asistentes de IA al corromper su memoria subyacente o lógica de recuperación de datos. Esto incluye correos electrónicos con exploits que apuntan a vulnerabilidades en implementaciones de RAG (Generación Aumentada por Recuperación). RAG es una técnica que permite a los LLM recuperar e incorporar nueva información más allá de su modelo de entrenamiento.

Tales ataques pueden llevar a que los asistentes de IA tomen decisiones incorrectas, proporcionen información falsa o realicen acciones no deseadas basadas en datos corruptos.

Manipulación de la protección basada en IA

Los atacantes también están aprendiendo a manipular los componentes de IA de las tecnologías defensivas.

Las plataformas de protección del correo electrónico están siendo mejoradas con funciones impulsadas por IA que las hacen más fáciles de usar y más eficientes, incluyendo características como respuestas automáticas, reenvío ‘inteligente’, triaje automático para eliminar spam, creación automatizada de tickets para problemas, y más. Esto está ampliando la superficie de ataque potencial que los actores de amenazas pueden apuntar.

Si un atacante manipula con éxito estas funciones de seguridad, podría:

• Manipular herramientas inteligentes de seguridad de correo electrónico para respuesta automática con datos sensibles.
• Abusar de las funciones de seguridad de IA para escalar tickets de ayuda sin verificación. Esto podría llevar a acceso no autorizado a sistemas o datos, ya que los atacantes podrían explotar los privilegios escalados para realizar actividades maliciosas.
• Automatizar el flujo de trabajo en función de un mensaje malicioso. Esto podría llevar a la ejecución de acciones perjudiciales, como la implementación de malware, la alteración de datos críticos o la interrupción de las operaciones comerciales.

Cuestionar la realidad

Confusión de identidad y spoofing

Cuando los sistemas de IA operan con altos niveles de autonomía, pueden ser engañados para que suplanten a usuarios o confíen en suplantadores. Esto puede llevar a:

• ‘Ataques de delegado confundido’ (Confused Deputy): Esto implica que un agente de IA con privilegios más altos realice tareas no autorizadas en nombre de un usuario con privilegios más bajos, como un atacante.
• Acceso a API suplantado: Esto implica que las integraciones existentes basadas en IA con Microsoft 365 o Gmail, por ejemplo, sean manipuladas para filtrar datos sensibles o enviar correos electrónicos fraudulentos.

Alucinaciones en cascada: confiar en lo falso

Como se mencionó anteriormente, los ataques por correo electrónico dirigidos a asistentes de IA pueden intentar manipular la funcionalidad del asistente. Esto podría llevar al asistente a resumir la bandeja de entrada de un usuario, generar informes y programar el calendario, pero basándose en datos falsos o manipulados.

En tales casos, un solo correo electrónico malicioso podría:

• Desvirtuar la priorización de tareas. Por ejemplo, enviar correos electrónicos "urgentes" de falsos ejecutivos
• Sesgar resúmenes y recomendaciones
• Influir en decisiones comerciales críticas basadas en alucinaciones

Cómo deben adaptarse las defensas del correo electrónico

Los gateways de correo electrónico heredados, los protocolos de autenticación de correo electrónico tradicionales como SPF o DKIM y las listas negras de IP estándar ya no son suficientes para defenderse de estas amenazas. Las organizaciones necesitan una plataforma de protección del correo electrónico que sea resistente a la IA generativa. Esta plataforma debería incluir:

• Filtrado compatible con LLM: Debería ser capaz de entender el contexto del correo electrónico (tema, destinatario, tipo, etc.), el tono y los patrones de comportamiento además del contenido del correo electrónico.
• Validación de memoria contextual: Esto ayuda a sanear lo que los filtros basados en IA aprenden con el tiempo y puede prevenir la manipulación a largo plazo.
• Aislamiento de la herramienta: Los asistentes de IA necesitan operar en entornos aislados, con medidas implementadas para bloquear cualquier acción no verificada basada en un mensaje de correo electrónico recibido.
• Gestión de identidades con alcance: Esto implica el uso de tokens de privilegio mínimo y la aplicación de límites de identidad para las integraciones de IA.
• Ejecución de IA de confianza cero: El hecho de que un correo electrónico afirme ser "del CEO" no significa que la IA deba actuar automáticamente. Las herramientas deben configurarse para verificar todo antes de la ejecución.

El futuro de la seguridad del correo electrónico es "con conciencia de agente"

Las herramientas de IA que se utilizan dentro de las organizaciones están cada vez más construidas sobre IA agente. Estos son sistemas de IA capaces de tomar decisiones de manera independiente y de comportarse de forma autónoma. Estos sistemas pueden razonar, planificar y realizar acciones, adaptándose en tiempo real para lograr objetivos específicos.

Esta poderosa capacidad puede ser manipulada por atacantes, y las medidas de seguridad deben pasar de un filtrado pasivo a un modelado proactivo de amenazas para agentes de IA.

El correo electrónico es un gran ejemplo. El correo electrónico se está convirtiendo en un espacio de trabajo mejorado por IA, pero sigue siendo uno de los principales vectores de ataque. Las estrategias de seguridad necesitan dejar de ver el correo electrónico como un canal. En su lugar, deben abordarlo como un entorno de ejecución que requiere principios de confianza cero y validación consciente de IA constante.

Cómo Barracuda Email Protection ayuda a defenderse de los ataques basados en IA

La plataforma de ciberseguridad integrada de Barracuda está diseñada específicamente para abordar el reto dual de los ataques basados en IA y los dirigidos a componentes de IA.

Nuestra suite de protección del correo electrónico combina detección inteligente, automatización adaptativa y diseño centrado en el ser humano para ayudar a los clientes a superar las amenazas impulsadas por IA.

Esto incluye lo siguiente:

• Detección avanzada basada en IA: Barracuda utiliza IA conductual y procesamiento de lenguaje natural (NLP) para detectar ingeniería social incluso sin malware obvio o enlaces. Detecta suplantación, Business Email Compromise (BEC), y anomalías de cambio de tono que los filtros tradicionales pasan por alto.
• Defensa en profundidad: Barracuda cubre cada etapa de la cadena de ataque desde prevención de phishing hasta detección de usurpación de cuentas y respuesta automatizada ante incidentes, cerrando las brechas que los atacantes explotan.
• Inteligencia de amenazas en tiempo real: Con datos de una red global de detección, Barracuda se adapta rápidamente a las amenazas emergentes como la inyección rápida, la intoxicación de RAG y el abuso de alucinaciones de IA.
• Formación de usuarios y concienciación: La tecnología por sí sola no es suficiente. Barracuda capacita a los empleados para reconocer el phishing potenciado por IA mediante formación en concienciación continua, porque la confianza es la nueva vulnerabilidad.

Para más información: https://www.barracuda.com/solutions/ai-in-cybersecurity