Diagnosticar un agente#

Un agente se prueba conversando con él directamente en Kivox Studio. La prueba utiliza la misma lógica y comportamiento que tendrá el agente cuando interactúe con un usuario final, por lo que no existe un entorno de ejecución separado que reproduzca un comportamiento diferente. Esto permite validar en Kivox Studio una experiencia representativa del comportamiento real del agente antes de publicarlo.

#Preparar casos representativos

Una sola pregunta no es suficiente para validar un agente. Antes de probar, prepare un pequeño conjunto de situaciones que representen el trabajo real del agente.

Para un agente de soporte, esto podría incluir una pregunta general resoluble con conocimiento, una pregunta que requiera información específica mediante una herramienta y una solicitud que el agente no debería poder resolver.

- ¿Cuánto tarda una entrega estándar?
- ¿Dónde está mi pedido 58291?
- ¿Cuál es el estado de mi cuenta bancaria?

La primera pregunta debería resolverse con conocimiento general de la empresa. La segunda requiere consultar información dinámica mediante una herramienta. La tercera está fuera del alcance del agente, y una buena respuesta reconoce ese límite en lugar de intentar responderla.

#Probar el conocimiento

Las bases de conocimiento deben evaluarse con preguntas que dependan realmente de su contenido, formuladas de más de una manera. Si la base contiene la política de devoluciones, pruebe tanto una pregunta directa como una formulación distinta de la misma intención.

- ¿Cuántos días tengo para devolver un producto?
- Compré el producto hace dos semanas. ¿Todavía puedo devolverlo?

Una buena configuración permite que el agente encuentre la información relevante incluso cuando el usuario no utiliza las mismas palabras que aparecen en la documentación.

#Probar las herramientas

Cuando el agente tiene herramientas conectadas, pruebe tanto la condición que debería activarlas como una situación en la que no deberían usarse.

- ¿Dónde está mi pedido 58291?
- ¿Cuánto tarda normalmente una entrega?

La primera requiere información dinámica y debería activar la herramienta correspondiente. La segunda puede resolverse con conocimiento general, y un agente bien configurado no debería invocar una herramienta innecesariamente para responderla.

#Probar voz

Cuando el agente utiliza voz, repita las mismas situaciones mediante una conversación hablada, prestando atención al inicio y al final de cada turno, y a cómo se comporta ante una interrupción. Una respuesta que funciona bien en texto puede sentirse lenta o incómoda al escucharse, incluso si cada respuesta individual parece correcta.

#Comparar antes y después de un cambio

Cuando modifique un agente, no evalúe únicamente una conversación nueva: repita las preguntas que ya había validado antes. Esto permite confirmar que el cambio corrigió el problema original sin introducir un comportamiento inesperado en otro lugar.

#Diagnosticar un comportamiento inesperado

Cuando una respuesta sea incorrecta, identifique primero qué parte del sistema la produjo antes de modificar la configuración.

Si la respuesta contiene información incorrecta, revise la base de conocimiento. Si el agente debería haber ejecutado una acción y no lo hizo, revise la herramienta correspondiente y las instrucciones que la activan. Si la acción se ejecutó pero el agente comunicó mal el resultado, revise el comportamiento posterior a la herramienta. Si el tono o la estructura de la respuesta son inesperados, revise las instrucciones de comunicación.

Este orden de diagnóstico permite hacer cambios puntuales en lugar de modificar toda la configuración cada vez ocurra un hipotético fallo.