Un escaneo limpio es solo el punto de partida: cómo evaluar herramientas de IA y servidores MCP

Un equipo descubre un servidor MCP que promete un acceso cómodo a datos del negocio. La demostración convence, las descripciones de las herramientas suenan razonables y un escáner no reporta hallazgos. El equipo aprueba la conexión.

Dos semanas después, el servidor cambia.

¿Qué versión aprobó la organización, y qué comportamiento evaluó realmente?

El Model Context Protocol ofrece una forma de conectar aplicaciones de IA con capacidades como herramientas y fuentes de datos. Usar ese protocolo no establece, por sí solo, que se pueda confiar en el servidor, en quien lo mantiene ni en los sistemas que hay detrás.

Por eso, la evaluación de la cadena de suministro debería empezar por la procedencia y el propósito. Identifica quién mantiene un componente, dónde se ejecuta, cómo se actualiza, qué dependencias incluye y qué datos salen de la organización. En un servicio alojado, establece qué evidencia puede entregar el proveedor y qué cambios pueden observar o controlar los clientes.

El proceso de admisión que sugiero separa descripción, implementación y comportamiento. La descripción de una herramienta dice lo que afirma hacer. El código y la configuración, cuando se pueden revisar, muestran cómo funciona. Una ejecución controlada muestra qué pasa en condiciones elegidas. Ninguna de estas miradas reemplaza por completo a las otras.

El MCP Scanner de código abierto de Cisco ilustra cómo pueden contribuir varios métodos de evaluación. Sus opciones documentadas incluyen reglas YARA, análisis basado en LLM, la API de inspección de Cisco AI Defense y modos para examinar el contenido MCP expuesto, el código fuente disponible y las dependencias. La cobertura depende del modo elegido, de los analizadores configurados y del material accesible. Un escaneo solo de metadatos no puede establecer todo lo que podría hacer el código del servidor. Cisco MCP Scanner

Trata los hallazgos como evidencia para una decisión. Que no haya hallazgos significa que las verificaciones configuradas no identificaron un problema en el material examinado. No establece que toda respuesta o ejecución futura de una herramienta vaya a ser segura.

Para un conector hipotético de registros de clientes, primero documentaría el uso permitido: obtener un conjunto limitado de campos de una cuenta asignada. Luego probaría si fallan las solicitudes sobre otra cuenta, si el conector intenta conexiones de red inesperadas y si una actualización cambia sus permisos o el contenido que devuelve.

Ejecuta los componentes desconocidos en un entorno de evaluación aislado, con datos sintéticos y credenciales restringidas. Esto aplica también al propio proceso de evaluación: un modo del escáner que lanza un servidor local ejecuta ese servidor, mientras que un escaneo de metadatos sin conexión tiene otra exposición.

El registro de aprobación debe identificar la versión del artefacto o del servicio cuando exista, la configuración, el inventario de herramientas, la fecha de evaluación, los hallazgos, las limitaciones aceptadas, quién revisó y qué dispararía una nueva evaluación. En el software propio, fija las versiones revisadas y sigue las actualizaciones. En los servicios alojados que no se pueden fijar, usa la información contractual sobre cambios, el monitoreo y evaluaciones repetidas para gestionar esa incertidumbre.

Extiende la misma disciplina a modelos, fuentes de recuperación de información, instrucciones de los agentes y demás dependencias. Reemplazar un modelo puede cambiar el comportamiento del flujo aunque su API siga siendo compatible. Un repositorio de documentos puede introducir contenido nuevo sin que el modelo cambie en absoluto.

Para un primer despliegue, crea un catálogo aprobado pequeño, con responsables designados y motivos explícitos de admisión. Haz que retirar y revertir sean parte del proceso del catálogo, para que descubrir un problema produzca una respuesta concreta.

La pregunta útil va más allá de si un escáner pasó: ¿qué evidencia respalda usar esta capacidad exacta, para esta tarea, con este nivel de acceso, y qué cambio invalidaría esa decisión?