Seguimos con Securing AI. Un modelo no solo puede entregar sus datos (inversión) o ser interrogado: también puede ser engañado con entradas manipuladas — y, sobre todo, hardenizado contra ellas. Un cambio imperceptible en una imagen —o en un texto— puede hacer que un modelo clasifique un panda como un gibón con total confianza. Esos son los ejemplos adversarios, y la defensa más consolidada contra ellos es el adversarial training.
Enfoque. Artículo técnico-defensivo: explicamos la técnica para que endurezcas tus modelos, con sus costos y límites reales, sin vender una bala de plata que no existe.
1. Qué es un ejemplo adversario
Desde 2013-2014 (Szegedy, Goodfellow et al.) sabemos que las redes neuronales tienen una fragilidad estructural: una perturbación diminuta y calculada en la entrada —invisible para un humano— puede cambiar por completo la predicción. El método clásico para generarlos, FGSM (Fast Gradient Sign Method), empuja la entrada en la dirección del gradiente de la pérdida: un empujón mínimo, máximo efecto.
No es solo visión por computador: en un LLM, el equivalente son los prompts adversarios y jailbreaks que descarrilan el comportamiento del modelo. La raíz es la misma: el modelo aprendió una frontera de decisión explotable.
2. Adversarial training: entrenar contra el ataque
La idea, formalizada por Madry et al. (2017), es tan directa como potente: si el modelo falla ante ejemplos adversarios, entrénalo con ellos. Se plantea como un problema min-max:
- El atacante interno (normalmente PGD, Projected Gradient Descent —una versión iterativa y más fuerte que FGSM—) busca la peor perturbación para cada ejemplo.
- El entrenamiento externo ajusta los pesos para minimizar la pérdida frente a esa peor perturbación.
En cada paso se generan ejemplos adversarios al vuelo y el modelo aprende a resistirlos. Es, hoy, la defensa empírica más fiable contra ataques de evasión — cuando el modelo tiene capacidad suficiente.
3. Lo que cuesta (no hay magia)
El adversarial training funciona, pero con precio. Hay que entrarlo con los ojos abiertos:
- Compromiso robustez ↔ precisión. Un modelo robusto suele perder exactitud en datos limpios. Ejemplo típico en CIFAR-10: la precisión limpia cae de ~90% (entrenamiento estándar) a ~79% con PGD (ε=8). No se puede ser perfecto en ambas.
- Costo computacional. Generar ejemplos adversarios en cada paso (sobre todo PGD multi-iteración) encarece el entrenamiento varias veces. Variantes como FGSM + inicialización aleatoria (“Fast is better than free”, Wong et al.) lo abaratan, pero pueden sufrir catastrophic overfitting (el modelo colapsa y vuelve a ser frágil ante PGD fuerte).
- Robustez específica del ataque. Entrenar contra una amenaza (p. ej. perturbaciones L∞ pequeñas) no garantiza robustez frente a otra. La robustez se mide contra un modelo de amenaza concreto, no en abstracto.
- TRADES y variantes. Formulaciones como TRADES (Zhang et al., 2019) permiten ajustar explícitamente el balance entre precisión y robustez según lo que tu caso tolere.
4. En LLMs: safety training y red teaming
En modelos de lenguaje, el “adversarial training” toma la forma de entrenamiento de seguridad: se recopilan prompts adversarios y jailbreaks (muchas veces vía red teaming humano y automatizado) y se reentrena/afinan los modelos para rechazarlos. Es eficaz, pero con la misma advertencia: hardeniza contra los ataques vistos, no elimina la clase de problema. Por eso el red teaming de LLMs es continuo, no un evento único.
5. Defensa en profundidad (no solo adversarial training)
El adversarial training es la base, pero se combina con otras capas:
- Preprocesamiento de entrada (reducir el margen de perturbación: compresión, suavizado), con cautela porque muchas de estas defensas caen ante ataques adaptativos.
- Robustez certificada. Métodos que demuestran matemáticamente que no existe perturbación (dentro de un radio) capaz de cambiar la predicción. Más caros y limitados, pero con garantías formales.
- Detección de ejemplos adversarios y ensembles para elevar el costo del ataque.
- Benchmarks honestos. Evaluar con herramientas como RobustBench y ataques adaptativos, no solo contra el ataque con el que entrenaste — el autoengaño es el riesgo número uno en robustez.
La trampa a evitar. Medir la robustez solo contra un ataque débil (o el mismo con que entrenaste) da una falsa sensación de seguridad. Evalúa siempre con ataques fuertes y adaptativos; si una defensa solo aguanta FGSM pero cae ante PGD, no es robusta.
6. Encaja en la gobernanza
Como todo en esta serie, conecta con los marcos: generar ejemplos adversarios y medir robustez es actividad de MEASURE del NIST AI RMF; aplicar adversarial training y defensas en capas es MANAGE; y el red teaming de modelos es la fuente que alimenta ambos. La robustez deja de ser un paper y pasa a ser un control operable y auditable.
7. Conclusión
El adversarial training es la respuesta madura a una fragilidad real de los modelos: si se rompen con ejemplos adversarios, entrénalos con ellos. No es gratis —cuesta precisión y cómputo— ni absoluto —es específico del modelo de amenaza—, pero sube el listón de forma medible y es la base sobre la que montar defensa en profundidad. Para un equipo de seguridad, el mensaje es el de siempre en IA: ataca tu propio modelo para hardenizarlo, mídelo con honestidad y trátalo como el activo crítico que es.
Fuentes
- Goodfellow et al. — Explaining and Harnessing Adversarial Examples (FGSM, arXiv)
- Madry et al. — Towards Deep Learning Models Resistant to Adversarial Attacks (PGD, arXiv)
- Zhang et al. — TRADES: Theoretically Principled Trade-off between Robustness and Accuracy (arXiv)
- Wong et al. — Fast is Better than Free: Revisiting Adversarial Training (arXiv)
- RobustBench — benchmark de robustez adversaria · NIST AI 100-2e2025 — Adversarial ML (evasión y mitigaciones)