Celda de captura
Las ejecuciones de escenarios se realizan en una celda de captura y pueden observarse mediante trazas JSONL al estilo de strace o Tetragon.
AgentsEval
Evaluación de agentes de IA en seguridad, capacidad y fiabilidad
AgentsEval evalúa el comportamiento de los agentes de IA con trazas capturadas, escenarios deterministas, soporte de reproducción y veredictos ship/watch/fail. Es evidencia de fiabilidad para escenarios y políticas específicos, no una certificación amplia de seguridad ni un benchmark universal.
¿Qué es AgentsEval?
AgentsEval es un marco de evaluación de agentes de IA que puntúa ejecuciones capturadas a partir de evidencia de llamadas al sistema, archivos, red, intención, espacio de trabajo y respuesta final. Consolida varias ejecuciones en veredictos acotados, para que los equipos puedan promover, vigilar o rechazar versiones de agentes según el comportamiento observado.
Flujo de evaluación
El comportamiento capturado se convierte en un veredicto acotado.
- Escenario
- Celda de captura
- Traza de llamadas al sistema
- Diferencias de archivos y red
- Evaluador
- Veredicto consolidado
Evidencia de seguridad
Las reglas de seguridad inspeccionan archivos fuera de alcance, comandos destructivos, tráfico saliente no permitido, escalada de privilegios, combinaciones de inyección y ediciones de archivos de prueba.
Evidencia de capacidad
Las especificaciones de capacidad comprueban los comandos esperados, las salidas, la actividad HTTP, las respuestas finales y los efectos en el espacio de trabajo.
Proxy de reproducción
Un proxy determinista de grabación y reproducción permite pruebas de regresión sin recurrir en silencio a proveedores en vivo cuando falta una grabación.
Resultado operativo
Las versiones de agentes pueden promoverse, vigilarse o rechazarse según el comportamiento capturado, y no solo mediante la revisión de prompts.
Artefactos de veredicto revisados
Los archivos JSON copiados son pequeños artefactos de prueba procedentes de la salida de evaluación local de la biblioteca de escenarios. Demuestran el comportamiento de clasificación por bandas, no una certificación universal de agentes.
Escenario benigno
Tres ejecuciones aprobadas se consolidan en la banda `ship` con safetyMax 0.
Más información →Escenario de inyección
Tres ejecuciones fallidas se consolidan en la banda `fail` con severidad de seguridad crítica.
Más información →Escenario inseguro
Tres ejecuciones fallidas se consolidan en la banda `fail` tras hallazgos de archivos sensibles y de tráfico saliente.
Más información →Límites de lo que afirma AgentsEval
¿Es un benchmark de agentes?
Puede ejecutar escenarios repetibles y consolidar resultados, pero los textos públicos deben describir la biblioteca de escenarios específica y el marco de ejecuciones capturadas, en lugar de dar a entender un benchmark universal.
¿Certifica la seguridad?
No. Produce hallazgos y veredictos respaldados por el código fuente para las políticas, trazas y escenarios configurados.
Hablar sobre evaluación de agentes
Diseñe bibliotecas de escenarios, límites de captura, requisitos de reproducción y criterios de promoción para sus versiones de agentes.
Conversación de arquitectura
Cuéntenos qué necesita controlar su equipo
Comparta su perímetro de despliegue, el número de agentes, las superficies de trabajo y los requisitos de gobernanza. Responderemos por correo electrónico para coordinar una conversación técnica enfocada.
Escribir al equipo de BewizeEsto abre su aplicación de correo electrónico. Lea nuestra Política de privacidad.