AWS ha ampliado la disponibilidad de Instancias de Amazon EC2 Inf1 a cuatro nuevas regiones de AWS, lo que eleva el número total de regiones admitidas a 11: EE. UU. Este (Norte de Virginia, Ohio), EE. UU. Oeste (Oregón), Asia Pacífico (Mumbai, Singapur, Sídney, Tokio), Europa (Fráncfort, Irlanda, París) y América del Sur (São Paulo).
Las instancias de Amazon EC2 Inf1 funcionan con Inferencia de AWS chips, que están diseñados a medida para brindarle el menor costo por inferencia en la nube y reducir las barreras para que los desarrolladores cotidianos usen el aprendizaje automático (ML) a escala. Los clientes que utilizan modelos como YOLO v3 y YOLO v4 pueden obtener un rendimiento hasta 1.85 veces mayor y un costo por inferencia hasta un 40% menor en comparación con las instancias basadas en GPU EC2 G4.
A medida que escala su uso del aprendizaje profundo en nuevas aplicaciones, es posible que se vea limitado por el alto costo de ejecutar modelos de aprendizaje automático capacitados en producción. En muchos casos, hasta el 90% del costo de infraestructura invertido en desarrollar y ejecutar una aplicación de ML se basa en inferencias, lo que hace que la necesidad de una infraestructura de inferencia de ML rentable y de alto rendimiento sea crítica. Las instancias Inf1 se crean desde cero para ofrecer un rendimiento más rápido y una inferencia de ML más rentable que las instancias comparables basadas en GPU. Esto le brinda el rendimiento y la estructura de costos que necesita para implementar con confianza sus modelos de aprendizaje profundo en un amplio conjunto de aplicaciones.
Rendimiento y compatibilidad de AWS Neuron SDK para nuevos modelos de aprendizaje automático
Puede implementar sus modelos de AA en instancias Inf1 de forma nativa con marcos de trabajo de AA populares como TensorFlow, PyTorch y MXNet. Puede implementar sus modelos existentes en instancias Amazon EC2 Inf1 con cambios mínimos en el código mediante el AWS neurona SDK, que está integrado con estos populares marcos de aprendizaje automático. Esto le brinda la libertad de mantener la portabilidad del hardware y aprovechar las últimas tecnologías sin estar atado a bibliotecas de software específicas del proveedor.
Desde su lanzamiento, Neuron SDK ha experimentado una mejora espectacular en la variedad de modelos que ofrecen el mejor rendimiento de su clase a una fracción del costo. Esto incluye modelos de procesamiento de lenguaje natural como el popular BERT, modelos de clasificación de imágenes (ResNet y VGG) y modelos de detección de objetos (OpenPose y SSD). La última versión de Neuron (1.8.0) proporciona optimizaciones que mejoran el rendimiento de YOLO v3 y v4, VGG16, SSD300 y BERT. También mejora las implementaciones operativas de aplicaciones de inferencia a gran escala, con un agente de administración de sesiones incorporado en todos los marcos de ML admitidos y una nueva herramienta neuronal que le permite escalar fácilmente el monitoreo de grandes flotas de aplicaciones de inferencia.
Casos de clientes satisfechos
Desde el lanzamiento de las instancias Inf1, un amplio espectro de clientes, desde grandes empresas hasta nuevas empresas, así como servicios de Amazon, han comenzado a usarlos para ejecutar cargas de trabajo de producción.
Anthem es una de las principales compañías de beneficios de salud del país, que atiende las necesidades de atención médica de más de 40 millones de miembros en docenas de estados. Utilizan el aprendizaje profundo para automatizar la generación de información procesable a partir de las opiniones de los clientes a través de modelos de lenguaje natural.
“Nuestra aplicación es computacionalmente intensiva y debe implementarse con un alto rendimiento”, dice Numan Laanait, PhD, Principal AI / Data Scientist en Anthem. “Implementamos sin problemas nuestra carga de trabajo de inferencia de aprendizaje profundo en instancias de Amazon EC2 Inf1 impulsadas por el procesador AWS Inferentia. Las nuevas instancias Inf1 proporcionan un rendimiento dos veces mayor que las instancias basadas en GPU y nos permitieron optimizar nuestras cargas de trabajo de inferencia ".
Condé Nast, otro cliente de AWS, tiene una cartera global que abarca más de 20 marcas de medios líderes, incluidas Wired, Vogue y Vanity Fair.
“En unas pocas semanas, nuestro equipo pudo integrar nuestro motor de recomendaciones con chips AWS Inferentia”, dice Paul Fryzel, ingeniero principal en infraestructura de inteligencia artificial en Condé Nast. “Esta unión permite múltiples optimizaciones en tiempo de ejecución para modelos de lenguaje natural de última generación en instancias Inf1 de SageMaker. Como resultado, observamos una mejora en el rendimiento de una reducción del costo del 72% en comparación con las instancias de GPU implementadas anteriormente ".
Cómo comenzar
La forma más fácil y rápida de comenzar con las instancias Inf1 es a través de Amazon SageMaker, un servicio totalmente administrado para crear, capacitar e implementar modelos de AA. Si prefiere administrar sus propias plataformas de desarrollo de aplicaciones de aprendizaje automático, puede comenzar lanzando instancias Inf1 con AMI de aprendizaje profundo de AWS, que incluyen el SDK de Neuron, o usan instancias Inf1 a través de Servicio Amazon Elastic Kubernetes (Amazon EKS) o Servicio de contenedor elástico de Amazon (Amazon ECS) para aplicaciones de aprendizaje automático en contenedores.
Para más información, consulte la Instancias Inf2 de Amazon EC1.
Sobre la autora
Gadi Hutt es director sénior de desarrollo empresarial en AWS. Gadi tiene más de 20 años de experiencia en ingeniería y disciplinas empresariales. Comenzó su carrera como ingeniero de software integrado y luego se trasladó a puestos de liderazgo de productos. Desde 2013, Gadi lidera el desarrollo comercial técnico de Annapurna Labs y la gestión de productos centrados en productos de hardware y software de aceleración de hardware como las instancias EC2 FPGA F1 y AWS Inferentia junto con su Neuron SDK, acelerando el aprendizaje automático en la nube.
