Antes de que un agente de IA actúe, decide quién responde por él

Un equipo de ventas conecta un asistente de IA a su base de datos de clientes. El piloto funciona bien: resume conversaciones y sugiere seguimientos. Luego alguien activa el envío de correos. Otra persona le da acceso a la información de precios. En pocas semanas, un asistente de redacción se convirtió en un sistema que puede asumir compromisos con los clientes.

¿Quién aprobó ese cambio de responsabilidad?

Esta situación hipotética ilustra un problema de gobierno: las capacidades de un sistema de IA pueden crecer más rápido que las decisiones de la organización sobre su uso. Aprobarlo para una tarea no debería convertirse en silencio en una aprobación para cada capacidad futura.

El primer control es una descripción clara del uso previsto. Documenta el objetivo de negocio, las personas afectadas, la información involucrada y las acciones que el sistema puede realizar. Distingue entre producir una recomendación y ejecutar una transacción. Una propuesta de descuento en borrador y un descuento emitido automáticamente tienen consecuencias distintas.

Asigna responsabilidades que las personas puedan ejercer de verdad. Un responsable de negocio define los resultados aceptables y acepta el riesgo de negocio residual. Un responsable técnico mantiene la integración. Los especialistas en seguridad y privacidad evalúan la exposición que corresponda. Un responsable de operación puede suspender el servicio y coordinar la recuperación. Una misma persona puede tener varios roles, pero la etiqueta de responsable solo sirve si viene con autoridad, tiempo y una vía de escalamiento.

El Marco de Gestión de Riesgos de IA del NIST ofrece una estructura voluntaria para gestionar el riesgo de IA mediante cuatro funciones: gobernar, mapear, medir y gestionar. Estas funciones sostienen una gestión de riesgos continua; adoptar el marco no certifica que un sistema en particular sea seguro. NIST AI RMF

Para la implementación, sugiero un registro de despliegue breve que acompañe al sistema durante todo su ciclo de vida. Debe identificar el propósito aprobado, la configuración del modelo y de las herramientas, los datos accesibles, las acciones prohibidas, las aprobaciones necesarias, los resultados de la evaluación, las limitaciones conocidas y la fecha de revisión. Registra quién puede aprobar un cambio importante, incluida una nueva fuente de datos o permisos más amplios para las herramientas.

Volvamos al asistente de ventas. Su aprobación inicial podría permitirle leer los registros de los clientes asignados y preparar borradores de correo. Enviar un mensaje externo requeriría una decisión aparte, respaldada por pruebas de la selección de destinatarios, la exactitud de los hechos, el manejo de información confidencial y el escalamiento cuando el asistente no tiene evidencia suficiente.

El gobierno también va más allá de la ciberseguridad. Un sistema puede proteger credenciales y aun así dar consejos engañosos, tratar a los clientes de forma desigual o crear un servicio inaccesible. Revisa los efectos previsibles sobre las personas, la confiabilidad que exige la tarea y cómo alguien puede cuestionar o corregir un resultado.

La supervisión humana debe tener un propósito definido. Dale a quien revisa la acción propuesta, la información que la respalda, la incertidumbre y las consecuencias probables. Si quien revisa solo ve un botón de aprobar, la organización creó un punto de control sin darle los medios para decidir con información.

Un punto de partida práctico es un solo flujo de trabajo con consecuencias. Mapea sus decisiones, asigna responsables, define los límites de operación y especifica qué evidencia justificaría ampliarlo. Conecta ese registro con la gestión de cambios, para que agregar una herramienta o reemplazar un modelo dispare la revisión correspondiente.

La prueba del gobierno es si una organización puede explicar por qué un sistema de IA tiene permitido actuar, dentro de qué límites y quién puede intervenir cuando esos límites ya no sirven.

Antes de ampliar tu próximo piloto, pregúntate: ¿qué capacidad requeriría una nueva aprobación, y quién tiene la autoridad para darla?