Estoy seguro de que algunos de ustedes están familiarizados con el desarrollo impulsado por pruebas o el desarrollo impulsado por el comportamiento. Los recuerdo a ambos de mi Ingeniería de Software en FEUP. Cuando he empezado a hacer Chatbots, He descubierto algo más, el desarrollo impulsado por la conversación.
Según el artículo titulado Desarrollo impulsado por la conversación encontrado del blog Rasa:
Desarrollo impulsado por conversaciones (CDD) es el proceso de escuchar a sus usuarios y utilizar esos conocimientos para mejorar su asistente de inteligencia artificial.
El artículo afirma que el mayor problema para chatterbot El desarrollador está anticipando la entrada del usuario. En lugar de asumir lo que le van a preguntar al chatterbot les damos la oportunidad de decir qué es exactamente lo que quieren.
El proceso de desarrollo impulsado por conversaciones es el siguiente:
- Compartir
- Revisar
- Anotar
- Probar
- Seguimiento
- Fijar
Basado en el proyecto que he realizado para mi tesis de maestría y algunos otros proyectos, he preparado un estudio de caso de desarrollo impulsado por conversación para un chatterbot para estudiantes de intercambio Erasmus que vienen a la universidad extranjera.
Marco: Rasa + Rasa X
Propósito: El objetivo del proyecto es ayudar a los estudiantes Erasmus que llegan a la universidad desde muchos países diferentes y tratan de navegar su vida estudiantil en Polonia. Requieren información sobre los trámites, documentos, profesores y vida del campus.
- Compartir: de acuerdo con el proceso, es bueno compartir su Chatbots con los usuarios de prueba desde el principio. Por lo general, no dedico mucho tiempo a deliberar sobre los flujos de diálogo. Diseño un diagrama simple con algunos caminos a seguir, entreno al chatbot en Rasa y llamo a mis amigos para pedirles ayuda. Por lo general, hago que mi chatbot esté disponible a través del túnel ngrok, pero descubrí que esta solución puede no ser confiable. Ahora implemento mi chatbot en un servidor público. http://35.205.219.197/guest/conversations/production/36a32a4440a84b7095ef45d55feb418c
- Revisión: una vez que algunas personas hablaron con su bot, es hora de leer las conversaciones que tuvieron. Muchos desarrolladores se centran en métricas como cuántas personas han utilizado esa intención, pero es mejor sentarse y leer las conversaciones porque es posible que las personas hayan interactuado con el chatbot, no de la forma que esperabas, pero podría ser que su ruta debe incluirse en la próxima versión. Rasa X tiene la opción de mirar los chats anteriores.
3. Anotar: después de pasar por las conversaciones, es hora de ver las intenciones que serían excelentes candidatos para mejorar la NLU de su chatbot. Puede verlos en la bandeja de entrada de NLU y marcarlos como correctos. De lo contrario, puede cambiar la intención deseada o crear una nueva.
4. Prueba: puedes usar las conversaciones anteriores como historias de prueba que te permitirán verificar aún más tu chatbot. Puede escribirlos en el directorio de prueba de su proyecto Rasa y ejecutarlos con frecuencia para verificar qué tan bien está funcionando su bot o puede convertir automáticamente los diálogos exitosos con el chatbot que tenía en historias de prueba una vez que el bot está en el servidor y está conectado al control de versiones.
prueba rasa
Probar chatbots en Rasa no se trata solo de historias. Puede evaluar la comprensión de nlu, verificando la clasificación de intenciones, etc. Probablemente dedicaré un segundo artículo solo al arte de las pruebas exhaustivas de chatbot.
5. Seguimiento: debe realizar un seguimiento de lo bien que está funcionando su chatbot. Por ejemplo, ¿el chatbot tiene éxito en convencer a las personas de que usen su tienda en línea o con qué frecuencia un usuario en particular usa el bot y está satisfecho? Puede rastrear el sentimiento de la conversación con BERT o simplemente regresión logística o reglas de Bayes.
6. Arreglar: analiza las conversaciones en función del rendimiento. Si fueron bien, pueden convertirse en parte del conjunto de pruebas. Si no es así, averigüe qué necesita mejorar. Podría necesitar más datos de entrenamiento o corregir sus acciones personalizadas.
El enfoque impulsado por la conversación se centra en el usuario. Es cierto que necesita tiempo y atención. A menudo tengo que saltar entre muchas etapas diferentes. Sin embargo, estoy trabajando en la creación de un gran chatbot que se adapte al usuario y no al revés. Después de todo, de esto se trata la buena conversación.
