El problema de la inteligencia artificial está en su autonomía
La Inteligencia Artificial ha ido más allá de generar contenido y responder preguntas; ahora actúa por sí sola e interactúa con sistemas empresariales críticos.
Incidentes recientes con agentes de IA ponen de manifiesto una realidad cada vez más presente en las organizaciones: la Inteligencia Artificial ha ido más allá de generar contenido y responder preguntas; ahora actúa por sí sola e interactúa con sistemas empresariales críticos.
Este 16 de julio se celebra el Día de la Apreciación de la IA, ¡qué mejor momento que éste para replantearnos el significado práctico de la supervisión y el control de la Inteligencia Artificial!
¿Cuánta autonomía estamos dispuestos a darle a la IA?
Ésa es la cuestión. Las empresas le confían cada vez más el acceso a datos confidenciales, entornos de producción y flujos de trabajo a velocidad de máquina. Parte de su desafío radica en que ofrece valor inmediato: como las mejoras se observan rápidamente, los equipos comienzan a confiar en los sistemas de IA sin pensarlo dos veces; el riesgo está en la dificultad para detectar errores de inmediato.
Para Dave Russell, vicepresidente Senior y Director de Estrategia de Veeam Software cuando algo falla, muchos negocios pueden explicar las medidas de seguridad que han implementado, pero sólo una minoría responderá preguntas operativas más importantes, como:
¿Qué modificó exactamente el agente de IA?
¿Dónde se propagaron los cambios?
¿Qué tan rápido se pueden revertir las acciones perjudiciales sin interrumpir la actividad empresarial?
Si no les es posible responder a estas cuestiones con total claridad, están colocando la confianza por encima de la resiliencia. Esta transición también está redefiniendo cómo los directivos, auditores y consejos evalúan el riesgo empresarial. Métricas de recuperación que antes parecían meramente tecnológicas hoy son críticas para el negocio.
La carencia de las medidas de seguridad
Muchas organizaciones aún se enfrentan a retos básicos en cuanto a calidad de datos. Los sistemas de IA pueden recurrir a información obsoleta o fuentes inexactas, pero aun así generar resultados que parecen creíbles. En algunos casos, una única fuente incorrecta o un conjunto de datos sesgado puede influir en las acciones automatizadas en múltiples sistemas.
Lo que hace que esto sea particularmente difícil es que los equipos de trabajo no comprenden del todo a qué datos acceden sus sistemas de IA, cómo se toman las decisiones ni dónde se extienden los cambios generados por la IA. El resultado es una versión moderna del problema de «si introduces basura, obtendrás basura», amplificado por la automatización y la velocidad.
Las medidas de seguridad se centran principalmente en la prevención. Su objetivo es evitar respuestas erróneas antes de que ocurran. Pero muchos riesgos de la IA empresarial ya no se limitan a las respuestas en pantalla. Los agentes de IA son cada vez más capaces de modificar registros, activar flujos de trabajo, acceder a sistemas internos y tomar decisiones operativas a la velocidad de una máquina. Esto cambia por completo el riesgo y aumenta la necesidad de estrategias de respuesta ante incidentes que vayan más allá de la mera prevención.
A medida que la gobernabilidad de la IA es un tema cada vez más relevante en los negocios, la resiliencia se convierte en prioridad. Para tener éxito, el enfoque debe pasar de prevenir cada error a identificar y revertir con rapidez las fallas cuando ocurren.
Construir para la recuperación, no para la prevención
¿Cómo lograrlo? Hay tres pasos cruciales. Las organizaciones deben comenzar por comprender cómo interactúan los agentes de IA con los sistemas y datos, qué acciones hacen y dónde éstas se propagan. Sin esa visibilidad, la supervisión efectiva es imposible.
También es necesaria una gobernabilidad de datos más sólida. Los sistemas de IA son tan confiables como la información que consumen. Es fundamental que los negocios entiendan la precisión, antigüedad, origen y confiabilidad de los datos que alimentan los modelos y agentes de IA.
Finalmente, las estrategias de recuperación deben evolucionar más allá de los enfoques tradicionales de respaldo y restauración. En muchos incidentes impulsados por IA, restaurar un sistema completo a un estado anterior suele generar interrupciones adicionales, pues se deshace la actividad comercial legítima junto con los cambios perjudiciales. En lugar de eso, las empresas necesitan cada vez más capacidades de recuperación que puedan identificar con precisión qué cambió un agente de IA, y deshacer sólo esas acciones específicas.
«La resiliencia de la IA es más importante que la confianza en ella. En Veeam tenemos claro que la siguiente fase de la adopción de la IA en las organizaciones se definirá por la capacidad de las organizaciones para gestionar y recuperarse de forma responsable de las acciones impulsadas por la IA a gran escala. Las medidas de seguridad son, por supuesto, importantes, pero son sólo una parte de la ecuación», afirmó Dave Russell, vicepresidente Senior y Director de Estrategia de Veeam Software.
La resiliencia a largo plazo depende de la visibilidad y de la capacidad de revertir rápidamente los cambios no deseados cuando inevitablemente se producen errores. Conforme los negocios sigan integrando la IA en flujos de trabajo críticos, el éxito no lo disfrutarán quienes asuman que la IA siempre acierta, sino quienes estén preparados para cuando no lo haga.
