Chatbots son las nuevas aplicaciones. Son la nueva interfaz con la que los usuarios pueden interactuar para obtener un servicio en particular. Al igual que en el caso de las aplicaciones móviles, la experiencia del usuario y la calidad deberían ser el objetivo principal de los desarrolladores.
La variedad de herramientas no es tan abundante como en el caso de las interfaces web y móviles y muchos desarrolladores piensan que las conversaciones de prueba son los tipos de prueba más difíciles que existen. El principal problema es que las conversaciones son confusas. No podemos obligar al usuario a seguir el camino feliz diseñado que hemos creado.
La mayoría de los chatterbot Las plataformas no proporcionan todas las herramientas necesarias para mejorar la calidad de la conversación. Por ejemplo, en DialogFlow podemos evaluar la calidad de las intenciones, con respecto a si fallan o tienen éxito en la conversación, pero eso es todo. No podemos profundizar más y obtener más información necesaria para proporcionar una mejor interfaz de conversación.
El marco Rasa es diferente porque proporciona más herramientas para desarrolladores y probadores. Podemos probar Chatbots de muchas formas y entender cómo mejorar. Podemos escribir historias de prueba, evaluando el modelo nlu, verificando su desempeño, evaluando la intención o el desempeño de la entidad. El objetivo de este artículo es ofrecer una descripción general de esas herramientas.
Los pasos que debemos seguir para probar un chatterbot se ilustran en la siguiente lista de verificación:
Este es el primer paso que debemos dar antes de presionar el botón del tren en Rasa. El comando
validación de datos rasa
comprueba las inconsistencias en las historias o el modelo nlu. Si los hay, es posible que el modelo no entrene o tenga un mal rendimiento por lo que es bueno usarlo antes del entrenamiento para ahorrarte molestias innecesarias.
Las historias de prueba son parte del desarrollo impulsado por la conversación del que hablé antes en el artículo titulado Aprendo todo el tiempo: desarrollo impulsado por conversaciones en un chatbot para estudiantes Erasmus con el marco Rasa. Las historias de prueba se escriben en forma de conversaciones ejemplares para comprobar si el bot se comportará como se esperaba.
Puede escribirlos en el archivo de historias de prueba en la carpeta del proyecto o si tiene Rasa X implementado en el servidor externo, puede generar historias mientras interactúa con el chatterbot.
Una vez que tenga un buen conjunto de casos de prueba, puede ejecutar
prueba rasa
1. Estudio de caso: Chatbot de reserva de citas de creación
Debe tener el hábito de agregar nuevas historias a medida que su chatbot crece y aprende. No es algo que puedas hacer de vez en cuando y luego olvidarte de ello.
Estoy pensando en escribir un artículo sobre cómo escribir buenos casos de prueba.
Su archivo NLU contiene todos los ejemplos de entrenamiento con los que está entrenado su chatbot. En la vida real, el bot encontrará los ejemplos que, por supuesto, no están en el conjunto de entrenamiento. Es por eso que debe dividir sus datos para realizar pruebas para simular ese tipo de situación.
división de datos rasa nlu
Una vez que se dividen sus datos, puede verificar la tasa de predicción de su modelo.
prueba rasa nlu--nlu train_test_split / test_data.yml
Una vez completada la prueba, puede encontrar los resultados en la carpeta de resultados del proyecto. Si desea probar más el chatbot, puede usar la validación cruzada.
prueba rasa nlu--nlu data / nlu.yml--validación cruzada
Puede verificar su modelo de diálogo en un grupo de historias de prueba.
rasa test core --stories test_stories.yml --out resultados
Este comando generará un informe sobre historias fallidas y una matriz de confusión para cada historia independientemente de si fallaron o no.
Podemos probar la configuración de la política de manera similar. Las políticas son modelos previamente entrenados que puede utilizar en su formación. Evaluar su rendimiento le ayudará a decidir qué configuración es la mejor para su chatbot.
rasa tren núcleo -c config_1.yml config_2.yml
--out compare_models --run 3 --porcentajes 0 5 25 50 70 95
Puede crear dos o más archivos de configuración para comprobar qué conjunto de modelos funciona mejor.
Rasa te proporciona las herramientas necesarias para evaluar la calidad de la conversación. Gracias a eso, puede brindar a los usuarios una mejor experiencia mientras usa su chatbot.
