Logotipo de Zephyrnet

Cómo usar AutoGen Studio localmente usando LM Studio o Text-Generation-Web-UI

Fecha:

Introducción

AutoGen Studio, impulsado por el marco AutoGen, es una plataforma revolucionaria para desarrollar agentes de IA que colaboran sin problemas para realizar tareas. En esta publicación de blog, exploraremos las capacidades de AutoGen Studio y lo integraremos con alternativas gratuitas de OpenAI como Generación de texto Interfaz de usuario web y LM Studio. Al final de esta guía, tendrá una comprensión completa de cómo utilizar localmente AutoGen Studio con herramientas de modelo de lenguaje alternativo.

OBJETIVOS DE APRENDIZAJE

  • Comprender los fundamentos de AutoGen y AutoGen Studio.
  • Conozca el proceso de instalación de AutoGen Studio.
  • Integre AutoGen Studio con la interfaz de usuario web de generación de texto para tareas de generación de texto.
  • Explore la utilización de AutoGen Studio con LM Studio para interacciones de modelos de lenguaje.

Este artículo fue publicado como parte del Blogatón de ciencia de datos.

Tabla de contenidos.

¿Qué es AutoGen?

Generación automática es un marco diseñado para desarrollar aplicaciones que utilizan agentes de modelo de lenguaje (LLM) capaces de colaborar para resolver tareas. Estos agentes, que son personalizables y conversacionales, integran perfectamente la participación humana y operan en varios modos, empleando combinaciones de LLM, aportaciones humanas y herramientas.

AutoGen Studio actúa como una aplicación de inteligencia artificial y presenta una interfaz de usuario impulsada por el marco AutoGen. Su objetivo principal es agilizar el proceso de creación de prototipos de agentes de IA, permitiendo a los usuarios aumentar estos agentes con diversas habilidades, estructurarlos en flujos de trabajo coherentes y participar en la finalización de tareas interactivas.

¿Cuál es el propósito de AutoGen Studio?

Mejorar la interacción del usuario

La interfaz intuitiva de AutoGen Studio permite a los usuarios definir y modificar de forma declarativa agentes y flujos de trabajo de múltiples agentes sin esfuerzo. Se elimina la necesidad de profundizar en códigos complejos o configuraciones intrincadas. En cambio, los usuarios pueden aprovechar una interfaz de apuntar y hacer clic y arrastrar y soltar para especificar los parámetros de los agentes y sus interacciones. Es similar a proporcionar un lienzo digital donde los usuarios diseñan la coreografía, y AutoGen Studio garantiza que los agentes sigan sus instrucciones sin problemas.

Aprovechar el potencial de los agentes: agregar habilidades con facilidad

Considere un escenario en el que un equipo virtual necesita adquirir nuevas habilidades para abordar tareas en evolución. En un entorno tradicional, integrar estas habilidades podría implicar navegar a través de intrincadas líneas de código. Sin embargo, AutoGen Studio simplifica el proceso de agregar habilidades explícitamente a los agentes. La interfaz proporciona una visión clara de las habilidades existentes y ofrece una plataforma accesible para incorporar otras nuevas. Es como dotar a un equipo de nuevas herramientas, algo que se consigue con sólo unos pocos clics.

Hacer tangible la colaboración: la sección Playground

Más allá de la configuración teórica, AutoGen Studio presenta una sección Playground donde los usuarios pueden interactuar con los flujos de trabajo de los agentes definidos anteriormente. Este espacio virtual es donde ocurre la magia: un entorno digital donde los usuarios participan en sesiones, observan interacciones de chat y son testigos de los resultados de su colaboración orquestada. Es como tener una sala de ensayo virtual donde los usuarios afinan la interpretación de su conjunto digital.

Compartir el éxito: la sección de galería

Una vez que los usuarios han perfeccionado la coreografía de su agente y han sido testigos de sesiones exitosas, AutoGen Studio proporciona una plataforma para compartir logros a través de la sección Galería. Esta sección sirve como depósito de colaboraciones exitosas de agentes, similar a mostrar una obra maestra digital a una audiencia más amplia. Fomenta la colaboración y la inspiración dentro de la comunidad AutoGen.

Para obtener más información sobre Autogen Studio, consulte esto blog

Guía paso a paso para implementar AutoGen Studio con la interfaz de usuario web de generación de texto

Text Generation Web UI es una interfaz web fácil de usar diseñada para crear texto utilizando varios modelos de lenguaje grandes, incluidos transformadores, GPTQ, llama.cpp y otros. Ofrece una variedad de funciones, como cambio de modelo, modo portátil, modo chat y más, lo que lo hace versátil para aplicaciones como escritura creativa y desarrollo de chatbot.

Paso 1: proceso de instalación

Para ejecutar un modelo de lenguaje grande localmente en su computadora, siga estos pasos:

  • Clona el repositorio usando el comando:
git clone  https://github.com/oobabooga/text-generation-webui
  •  Navegue a la carpeta "UI web de generación de texto".
cd text-generation-webui
  • Elija la secuencia de comandos de inicio adecuada según su sistema operativo. 

Ejemplo: si utiliza el sistema operativo Windows, ejecute el siguiente comando:

.start_windows.bat --api --listen-port 7822 --extensions openai
  • Linux: ./start_linux.sh
  • Windows: start_windows.bat
  • MacOS: ./start_macos.sh
  • WSL: ./start_wsl.bat

Presione enter. Esto descargará e instalará automáticamente los paquetes necesarios para la interfaz de usuario web de generación de texto. La instalación puede tardar alrededor de un minuto.

Paso 2: Seleccionar GPU

  • Durante la instalación, le pedirá que seleccione su GPU. Elija la GPU adecuada, por ejemplo, 'N' en el caso de que no tenga GPU y desee ejecutar el modelo en modo CPU, y presione Intro.
  • El script instalará los paquetes necesarios según la GPU especificada.

Paso 3: copie la URL de API compatible con OpenAI

Copie la URL compatible con OpenAI generada. Lo necesitará en un paso posterior.

Paso 4: abrir la interfaz de usuario web

  • Navegue hasta la URL local proporcionada mencionada en el resultado.
  • Abra su navegador e ingrese la URL. Debería aparecer la interfaz web.

Paso 5: Descarga de modelos

  • En la interfaz, vaya a la pestaña "modelos".
  • Descargue el modelo deseado.
    • Ingrese el nombre de usuario/ruta del modelo de la cara abrazada en el primer cuadro. Ejemplo: TheBloke/Mistral-7B-Instruct-v0.2-GGUF
    • Para descargar un solo archivo (para los modelos GGUF), ingrese su nombre en el segundo cuadro. Ejemplo: En la cara de abrazo, este es el modelo que elijo trabajar TheBloke/Mistral-7B-Instruct-v0.2-GGUF. Si navega a la sección de archivos proporcionada, verá los diferentes modelos de TheBloke/Mistral-7B-Instruct-v0.2-GGUF. Elijo mistral-7b-instruct-v0.2.Q4_K_M.gguf

Supervise el terminal para confirmar la descarga exitosa del modelo. Puede tardar un minuto en completarse.

Paso 6: Actualizar la interfaz

  • Después de la descarga, actualice la interfaz web haciendo clic en el botón actualizar🔃.
  • El modelo descargado ahora debería aparecer en el menú desplegable.

Paso 7: elegir el modelo

  • Elija el modelo deseado de la lista desplegable.
  • Haga clic en el botón "cargar" para cargar el modelo seleccionado.

Paso 8: modelo cargado

  • Tras la carga exitosa, aparecerá un mensaje de confirmación, indicando que el modelo se ha cargado exitosamente.
  • Luego haga clic en "guardar configuración", ahora podemos ver la configuración guardada.

Paso 9: ejecutar Autogen Studio

Abra una nueva terminal y ejecute los siguientes comandos

El siguiente paso es instalar AutoGen Studio. Para una experiencia fluida, recomiendo utilizar un entorno virtual (por ejemplo, conda) para evitar conflictos con los paquetes de Python existentes. Con Python 3.10 o posterior activo en su entorno virtual, use el siguiente comando pip:

pip install autogenstudio
autogenstudio ui --port 8080

salida server_autogenstudio.log

INFO:     Started server process [11050]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://127.0.0.1:8080 (Press CTRL+C to quit)

Paso 10: configurar un proveedor de LLM en Autogen UI

  • En la interfaz de usuario de AutoGen Studio, navegue hasta la parte superior y busque la sección "Construir". Haga clic en él, luego elija "Modelo"
  • Haga clic en "Nuevo modelo" para insertar un nuevo modelo. Ingrese el nombre del modelo, URL base (pegue la URL de la API compatible con OpenAI que copió.) Por ejemplo, http://0.0.0.0:5000/v1) y establezca la clave API como “NoApi (escriba cualquier cadena, no la deje vacía).
  • Una vez hecho esto, haga clic en "Aceptar".

Paso 11: configurar el flujo de trabajo

Configure un flujo de trabajo de agente que pueda usarse para manejar tareas.

  • Navegue hasta flujo de trabajo sección y luego haga clic en Flujo de trabajo general del agente
  • Haga clic en el agente user_proxy y haga clic en "Agregar" en la sección del modelo y elija el modelo que desea usar en el menú desplegable.
  • Siga los mismos pasos para el asistente_primario. Asegúrese de que el nombre del modelo elegido aparezca junto a la sección del modelo en color verde. Finalmente, haga clic en "Aceptar" nuevamente para confirmar.
image.png

Ejemplo de uso

Haga clic en la sección del área de juegos y cree una nueva sección haciendo clic en el botón "nuevo"

Elija el flujo de trabajo general del agente y presione el botón Crear

Cuando la sesión se crea exitosamente. Ahora ejecuta la consulta y presiona el botón enviar.

Ahora considere esta consulta: Enumere los 5 ríos principales de África y su longitud y devuélvalos como una tabla de rebajas. No intentes escribir ningún código, solo escribe la tabla.

Registro de interfaz de usuario web de generación de texto

Para verificar que LLM comience a generar resultados, después de unos minutos podrá ver el registro en Text-generación-webui que indica que se están generando los tokens. Esto demuestra que autogen UI está utilizando LLM a través de Text-generación-webui.

interfaz de usuario web

Terminal de inicio de sesión de Autogen Studio

Estudio Autogen

Resultado

Guía paso a paso para implementar AutoGen Studio con LM Studio

LM Studio, un proyecto innovador, está a la vanguardia al permitir a los usuarios interactuar con LLM de código abierto sin problemas. Desarrollada en torno a la biblioteca llama.cpp, esta herramienta facilita la instalación, administración y utilización de varios LLM en entornos de escritorio. 

Paso 1: descargue LM Studio

Vaya al sitio web oficial de LM Studio (https://lmstudio.ai/) y elija la versión compatible con su sistema operativo (Windows, Mac o Linux). Haga clic en el enlace de descarga para iniciar el proceso de descarga.

Paso 2: busca y elige un modelo

En el medio de la pantalla principal, ubica la barra de búsqueda. Ingrese palabras clave o un nombre de modelo específico para explorar las opciones disponibles. Elija un modelo que se alinee con sus objetivos de exploración.

Paso 3: iniciar el servidor local

Servidor local: busque el icono de doble flecha a la izquierda, haga clic en él e inicie el servidor local. 
Copie la URL base y péguela en autogen studio.

Paso 4: ejecutar el estudio autogen

El siguiente paso es instalar AutoGen Studio. Para una experiencia fluida, recomiendo utilizar un entorno virtual (por ejemplo, conda) para evitar conflictos con los paquetes de Python existentes. Con Python 3.10 o posterior activo en su entorno virtual, use el siguiente comando pip:

pip install autogenstudio
autogenstudio ui --port 8080

salida server_autogenstudio.log

INFO:     Started server process [11050]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://127.0.0.1:8080 (Press CTRL+C to quit)

Paso 5: configurar un proveedor de LLM en Autogen UI

  • En la interfaz de usuario de AutoGen Studio, navegue hasta la parte superior y busque la sección "Construir". Haga clic en él, luego elija "Modelo"
  • Haga clic en "Nuevo modelo" para insertar un nuevo modelo. Ingrese el nombre del modelo, URL base (pegue la URL de la API compatible con OpenAI que copió.) Por ejemplo, http://0.0.0.0:5000/v1) y establezca la clave API como “NoApi (escriba cualquier cadena, no la deje vacía).
  • Una vez hecho esto, haga clic en "Aceptar".
IU de autogeneración

Paso 6: configurar el flujo de trabajo

Configure un flujo de trabajo de agente que pueda usarse para manejar tareas.

  • Navegue hasta flujo de trabajo sección y luego haga clic en Flujo de trabajo general del agente
  • Haga clic en el agente user_proxy y haga clic en "Agregar" en la sección del modelo y elija el modelo que desea usar en el menú desplegable.

Consejo importante: También configure el modo de entrada humana como "SIEMPRE" (de lo contrario, no obtendrá una salida en el estudio autogen)

  • Siga los mismos pasos para el asistente_primario. Asegúrese de que el nombre del modelo elegido aparezca junto a la sección del modelo en color verde. Finalmente, haga clic en "Aceptar" nuevamente para confirmar.
flujo de trabajo

Ejemplo de uso

Ahora considere esta consulta: enumere los 5 ríos principales de África y su longitud y devuélvalos como una tabla de rebajas. No intentes escribir ningún código, solo escribe la tabla.

Haga clic en la sección del área de juegos y cree una nueva sección haciendo clic en el botón "nuevo"

Elija el flujo de trabajo general del agente y presione el botón Crear

Cuando la sesión se crea exitosamente. Ahora ejecute la consulta y presione el botón enviar.

flujo de trabajo

Importante: Una vez que haya asignado cualquier tarea en Autogen Studio en la sección de juegos, vaya a la terminal de Autogen Studio y allí verá esto "Proporcionar comentarios al proxy de usuario". Presione Intro para omitir y usar la respuesta automática, o escriba 'salir' para finalizar la conversación:”. ahora presione “Entrar”.

Registros de LM Studio

Para verificar que LLM comience a generar resultados, podrá ver el registro en LM Studio que indica que se están generando los tokens. Esto demuestra que Autogen UI está utilizando LLM a través de LM Studio.

Registro de AutoGen Studio

Resultado

Conclusión

En conclusión, AutoGen Studio surge como una poderosa herramienta para desarrollar e interactuar con agentes de IA. Al combinarlo con alternativas gratuitas como Text Generation Web UI y LM Studio, los usuarios pueden ampliar las funcionalidades y explorar varios modelos de lenguaje localmente. Esta guía le proporciona el conocimiento para aprovechar el potencial de AutoGen Studio junto con herramientas alternativas, abriendo puertas a aplicaciones innovadoras de IA.

Puntos clave

  • AutoGen Studio simplifica el desarrollo de agentes de IA a través de una interfaz de usuario intuitiva.
  • Las secciones Patio de juegos y Galería de AutoGen Studio brindan espacios virtuales para la interacción y la colaboración.
  • La instalación y configuración de la interfaz de usuario web de generación de texto permite la generación de texto local utilizando varios modelos de idioma.
  • LM Studio permite la integración perfecta de modelos de lenguaje de código abierto para diversas aplicaciones.
  • La integración de AutoGen Studio con herramientas alternativas ofrece flexibilidad y amplía las capacidades de desarrollo de IA.

Preguntas frecuentes

P1. ¿Por qué debería elegir AutoGen Studio para el desarrollo de IA?

R. AutoGen Studio se destaca por su interfaz fácil de usar, que le permite crear prototipos y mejorar agentes de IA sin esfuerzo. Su diseño intuitivo elimina la necesidad de codificación compleja, lo que lo hace accesible tanto para principiantes como para desarrolladores experimentados.

P2. ¿Qué tan desafiante es el proceso de instalación de AutoGen Studio?

R. Instalar AutoGen Studio es muy sencillo. Simplemente use el comando pip recomendado dentro de un entorno virtual, asegurando una experiencia fluida. El proceso está bien documentado, lo que lo hace accesible para usuarios con distintos niveles de experiencia técnica.

P3. ¿Puedo integrar la interfaz de usuario web de generación de texto con AutoGen Studio para diversas aplicaciones?

R. ¡Absolutamente! Si sigue los pasos descritos, puede integrar perfectamente la interfaz de usuario web de generación de texto con AutoGen Studio. Esta combinación abre un mundo de posibilidades para tareas que van desde la escritura creativa hasta el desarrollo de chatbots.

P4. ¿Qué distingue a LM Studio y cómo complementa a AutoGen Studio?

R. LM Studio es un proyecto que simplifica la interacción con modelos de lenguaje de código abierto. Cuando se integra con AutoGen Studio.

Los medios que se muestran en este artículo no son propiedad de Analytics Vidhya y se utilizan a discreción del autor.

punto_img

Información más reciente

punto_img