El Hub de Negocios.- La gobernanza en agentes de IA comienza a convertirse en un desafío empresarial que rebasa la innovación tecnológica. Un sistema autónomo puede vulnerar controles de seguridad sin intención maliciosa, simplemente al perseguir de forma estricta el objetivo para el que fue diseñado.
Para las organizaciones, el dilema ya no consiste únicamente en determinar qué pueden hacer estas tecnologías, sino en establecer límites antes de que una decisión automatizada provoque consecuencias operativas, financieras o reputacionales.
El debate cobró fuerza tras una evaluación interna de uno de los principales laboratorios de inteligencia artificial del mundo. Dos modelos experimentales, sometidos a pruebas de ciberseguridad con controles reducidos, identificaron y encadenaron vulnerabilidades entre un entorno de investigación y la infraestructura productiva de una plataforma tecnológica externa.
Te invitamos a leer: La inteligencia artificial transforma la mercadotecnia
¿Por qué la autonomía de la IA está poniendo a prueba los controles?
El episodio mostró una nueva dimensión del riesgo tecnológico. Los modelos no evidenciaron una intención maliciosa autónoma, pero sí un comportamiento altamente enfocado en alcanzar el objetivo asignado.
“El episodio marcó un cambio importante en la conversación sobre inteligencia artificial. Más allá del incidente, evidenció que la capacidad para desarrollar sistemas cada vez más autónomos comienza a avanzar más rápido que la capacidad de las organizaciones para gobernarlos”, señaló Manuel Moreno, consultor de ciberseguridad de IQSEC.
La seguridad de IA adquiere así un papel central, porque la autonomía puede ampliar el alcance de una decisión equivocada.
Moreno añadió: “El debate ya no gira únicamente en torno a cuánto puede hacer la IA, sino a qué tan preparados estamos para establecer límites, supervisarla y actuar cuando su comportamiento se aparta de lo esperado”.
Al hablar de gobernanza en agentes de IA, el problema también alcanza a las identidades no humanas, como cuentas de servicio, claves de API, bots, cargas de trabajo y sistemas automatizados.
Síguenos en Instagram: @elhubdenegocios
¿Qué revela el crecimiento de las identidades no humanas?
La encuesta 2026 SANS Identity Threats & Defences Survey encontró que 76% de las organizaciones reporta un crecimiento de estas identidades. Además, 74% ya utiliza automatizaciones o sistemas de IA que requieren credenciales y permisos para operar autónomamente.
Su expansión no siempre está acompañada por controles equivalentes a los aplicados a usuarios humanos. Esto puede ampliar la superficie de ataque y dificultar la detección de comportamientos inesperados.
Entre las medidas disponibles, ninguna supera el 40% de adopción individual. Aprobaciones, entornos aislados y bitácoras de auditoría siguen teniendo una presencia limitada.
Aproximadamente cuatro de cada diez organizaciones ya emplean esquemas de aprobación humana para determinadas acciones automatizadas.
“Durante años concentramos nuestros esfuerzos en proteger a las organizaciones frente a atacantes externos. Hoy el desafío es diferente: debemos asegurarnos de que los agentes inteligentes operen dentro de los límites para los que fueron diseñados”, explicó Moreno.
Te invitamos a leer: Más allá de la inteligencia artificial: entender al usuario sigue siendo la clave
¿Cómo puede fortalecerse la gobernanza en agentes de IA?
La gestión de riesgos debe comenzar desde el diseño y no después de un incidente. Las organizaciones necesitan determinar qué información puede consultar cada sistema, qué acciones puede ejecutar y cuándo debe intervenir una persona.
También deben considerar:
- Aplicar principios de Zero Trust a identidades no humanas.
- Implementar mecanismos de contención de IA o AI Containment.
- Monitorear continuamente las decisiones automatizadas.
- Mantener trazabilidad de las acciones ejecutadas.
- Realizar auditorías independientes.
La gobernanza en agentes de IA también requiere diferenciar los niveles de autonomía. No todos los sistemas tienen el mismo alcance ni necesitan los mismos controles.
Gartner proyecta que, para 2027, 40% de las empresas degradará o desactivará agentes autónomos de IA debido a brechas de gobierno identificadas únicamente después de incidentes en producción.
La consultora recomienda clasificarlos según sus capacidades: observar o recomendar, ejecutar acciones con aprobación humana o actuar de manera autónoma.
Síguenos en Facebook: @elhubdenegocios
Gobernanza en agentes de IA: ¿Qué controles serán decisivos para evitar una reducción de uso?
A mayor autonomía, mayor debe ser el nivel de supervisión. Entre los mecanismos señalados se encuentran el monitoreo continuo, guardrails obligatorios, mecanismos rápidos de reversión, interruptores de emergencia y responsabilidades claramente asignadas.
El objetivo no consiste en frenar la adopción tecnológica, sino en evitar que la automatización empresarial avance sin controles proporcionales a sus riesgos.
La advertencia de Gartner plantea un escenario relevante para las compañías: aquellas que incorporen sistemas autónomos sin una estructura adecuada podrían terminar limitando su utilización después de enfrentar problemas en producción.
“La gobernanza de la inteligencia artificial dejó de ser un tema de innovación para convertirse en un tema de gestión del riesgo. Una organización puede implementar los modelos más avanzados del mercado, pero si no cuenta con mecanismos para supervisar sus decisiones, limitar sus privilegios y auditar su comportamiento, estará incorporando un nuevo riesgo operativo en lugar de una ventaja competitiva”, aseguró Moreno.
El desafío será gobernar antes de tener que retroceder
La expansión de sistemas autónomos coloca a las organizaciones ante una disyuntiva concreta: acelerar su adopción con controles suficientes o enfrentar restricciones posteriores.
El escenario previsto para 2027 muestra que la falta de supervisión podría convertir una herramienta diseñada para generar eficiencia en un nuevo riesgo operativo.
La gobernanza en agentes de IA, por tanto, deja de ser un asunto secundario frente al desarrollo tecnológico. La capacidad de establecer límites, supervisar decisiones y responder ante comportamientos inesperados será determinante para sostener su uso empresarial.
