Lanzado en 2021, Lienzo de Amazon SageMaker es un servicio visual de apuntar y hacer clic para crear e implementar modelos de aprendizaje automático (ML) sin la necesidad de escribir ningún código. Los Foundation Models (FM) listos para usar disponibles en SageMaker Canvas permiten a los clientes utilizar IA generativa para tareas como la generación y el resumen de contenido.

Estamos encantados de anunciar las últimas actualizaciones de Amazon SageMaker Canvas, que aportan nuevas e interesantes capacidades de IA generativa a la plataforma. Con soporte para los modelos Meta Llama 2 y Mistral.AI y el lanzamiento de respuestas en streaming, SageMaker Canvas continúa capacitando a todos los que quieran comenzar con la IA generativa sin escribir una sola línea de código. En esta publicación, analizamos estas actualizaciones y sus beneficios.

Presentamos los modelos Meta Llama 2 y Mistral

Llama 2 es un modelo básico de vanguardia de Meta que ofrece escalabilidad y versatilidad mejoradas para una amplia gama de tareas de IA generativa. Los usuarios han informado que Llama 2 es capaz de entablar conversaciones significativas y coherentes, generar contenido nuevo y extraer respuestas de notas existentes. Llama 2 se encuentra entre los modelos de lenguajes grandes (LLM) de última generación disponibles en la actualidad.

Mistral.AI, una startup francesa líder en inteligencia artificial, ha desarrollado Mistral 7B, un potente modelo de lenguaje con 7.3 millones de parámetros. Los modelos de Mistral han sido muy bien recibidos por la comunidad de código abierto gracias al uso de atención de consultas agrupadas (GQA) para una inferencia más rápida, lo que los hace altamente eficientes y con un rendimiento comparable al modelo con el doble o el triple de parámetros.

Hoy, nos complace anunciar que SageMaker Canvas ahora admite tres variantes del modelo Llama 2 y dos variantes de Mistral 7B:

Para probar estos modelos, navegue hasta SageMaker Canvas Modelos listos para usar página, luego elija Generar, extraer y resumir contenidos.. Aquí es donde encontrará la experiencia de chat de SageMaker Canvas GenAI. Aquí, puede utilizar cualquier modelo de Amazon Bedrock o SageMaker JumpStart seleccionándolos en el menú desplegable de modelos.

En nuestro caso elegimos uno de los modelos Llama 2. Ahora puede proporcionar su opinión o consulta. A medida que envía la entrada, SageMaker Canvas la reenvía al modelo.

Elegir cuál de los modelos disponibles en SageMaker Canvas se adapta mejor a su caso de uso requiere tener en cuenta información sobre los modelos en sí: el modelo Llama-2-70B-chat es un modelo más grande (70 mil millones de parámetros, en comparación con 13 mil millones). con Llama-2-13B-chat), lo que significa que su rendimiento es generalmente mayor que el más pequeño, a costa de una latencia ligeramente mayor y un mayor costo por token. Mistral-7B tiene rendimientos comparables a Llama-2-7B o Llama-2-13B, sin embargo, está alojado en Amazon SageMaker. Esto significa que el modelo de precios es diferente, pasando de un modelo de precios de dólar por token a un modelo de dólar por hora. Esto puede resultar más rentable con una cantidad significativa de solicitudes por hora y un uso constante a escala. Todos los modelos anteriores pueden funcionar bien en una variedad de casos de uso, por lo que nuestra sugerencia es evaluar qué modelo resuelve mejor su problema, considerando las compensaciones entre producción, rendimiento y costos.

Si está buscando una forma sencilla de comparar cómo se comportan los modelos, SageMaker Canvas proporciona de forma nativa esta capacidad en forma de comparaciones de modelos. Podrás seleccionar hasta tres modelos diferentes y enviar la misma consulta a todos a la vez. Luego, SageMaker Canvas obtendrá las respuestas de cada uno de los modelos y las mostrará en una interfaz de usuario de chat en paralelo. Para hacer esto, elija Compara y elija otros modelos para comparar, como se muestra a continuación:

Presentamos la transmisión de respuestas: interacciones en tiempo real y rendimiento mejorado

Uno de los avances clave en esta versión es la introducción de respuestas transmitidas. La transmisión de respuestas proporciona una experiencia más rica para el usuario y refleja mejor una experiencia de chat. Con la transmisión de respuestas, los usuarios pueden recibir comentarios instantáneos y una integración perfecta en sus aplicaciones de chatbot. Esto permite una experiencia más interactiva y receptiva, mejorando el rendimiento general y la satisfacción del usuario del chatbot. La capacidad de recibir respuestas inmediatas en forma similar a un chat crea un flujo de conversación más natural y mejora la experiencia del usuario.

Con esta función, ahora puede interactuar con sus modelos de IA en tiempo real, recibir respuestas instantáneas y permitir una integración perfecta en una variedad de aplicaciones y flujos de trabajo. Todos los modelos que se pueden consultar en SageMaker Canvas (de Amazon Bedrock y SageMaker JumpStart) pueden transmitir respuestas al usuario.

Empezar hoy mismo

Ya sea que esté creando un chatbot, un sistema de recomendaciones o un asistente virtual, los modelos Llama 2 y Mistral combinados con respuestas transmitidas brindan un rendimiento e interactividad mejorados a sus proyectos.

Para utilizar las funciones más recientes de SageMaker Canvas, asegúrese de eliminar y volver a crear la aplicación. Para hacer eso, cierre sesión en la aplicación eligiendo Cerrar Sesióny luego abra SageMaker Canvas nuevamente. Deberías ver los nuevos modelos y disfrutar de los últimos lanzamientos. Cerrar sesión en la aplicación SageMaker Canvas liberará todos los recursos utilizados por la instancia del espacio de trabajo, evitando así incurrir en cargos adicionales no deseados.

Conclusión

Para comenzar con las nuevas respuestas transmitidas para los modelos Llama 2 y Mistral en SageMaker Canvas, visite el Consola SageMaker y explore la interfaz intuitiva. Para obtener más información sobre cómo SageMaker Canvas y la IA generativa pueden ayudarlo a alcanzar sus objetivos comerciales, consulte Capacite a sus usuarios empresariales para extraer información de los documentos de la empresa utilizando Amazon SageMaker Canvas y la IA generativa. y Superar los desafíos comunes de los centros de contacto con IA generativa y Amazon SageMaker Canvas.

Si desea obtener más información sobre las funciones de SageMaker Canvas y profundizar en otros casos de uso de ML, consulte las otras publicaciones disponibles en Categoría de lienzo de SageMaker del blog de aprendizaje automático de AWS. ¡Estamos ansiosos por ver las increíbles aplicaciones de IA que crearás con estas nuevas capacidades!

Sobre los autores

david gallitelli es un arquitecto senior de soluciones especializado en IA/ML. Tiene su sede en Bruselas y trabaja en estrecha colaboración con clientes de todo el mundo que buscan adoptar tecnologías de aprendizaje automático Low-Code/No-Code e IA generativa. Ha sido desarrollador desde muy joven y comenzó a codificar a los 7 años. Comenzó a aprender AI/ML en la universidad y se ha enamorado de ello desde entonces.

dan sinnreich es gerente senior de productos en AWS y ayuda a democratizar el aprendizaje automático con código bajo o sin código. Antes de AWS, Dan creó y comercializó plataformas SaaS empresariales y modelos de series temporales utilizados por inversores institucionales para gestionar el riesgo y construir carteras óptimas. Fuera del trabajo, se le puede encontrar jugando hockey, buceando y leyendo ciencia ficción.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://aws.amazon.com/blogs/machine-learning/announcing-support-for-llama-2-models-and-streaming-responses-in-amazon-sagemaker-canvas/