Logotipo de Zephyrnet

Cuatro razones para amar a Ray y la computación distribuida acelerada por GPU

Fecha:

Post patrocinado

Cuatro razones para amar a Ray y la computación distribuida acelerada por GPU


 

Ray es otro proyecto de UC Berkeley con la misión de "simplificar la computación distribuida". Ray consta de dos componentes principales: Ray Core, que es un marco de computación distribuida, y Ray Ecosystem, que en términos generales es una serie de bibliotecas específicas de tareas que vienen con Ray (p. ej., Ray Tune, un marco de optimización de hiperparámetros, RaySGD para sistemas distribuidos). aprendizaje profundo, RayRLib para aprendizaje por refuerzo, etc.)

 
Cuatro razones para amar a Ray y la computación distribuida acelerada por GPU


 

El objetivo de diseño principal de Ray no era hacer un reemplazo directo para las cargas de trabajo de ciencia de datos, sino proporcionar un marco general de bajo nivel para paralelizar el código de Python. Esto lo convierte en un marco de paralelización y agrupación en clústeres de propósito general que se puede usar para construir y ejecutar cualquier tipo de aplicación distribuida. Debido a cómo está diseñado Ray Core, a menudo se lo considera un marco para construir marcos. También hay un número creciente de proyectos que se integran con Ray para aprovechar la GPU acelerada y la computación en paralelo. spaCy, Hugging Face y XGBoost son ejemplos de bibliotecas de terceros que han introducido la interoperabilidad de Ray.

Cuatro ventajas de usar un clúster de rayos:

  1. Ray es el más adecuado para cargas de trabajo de cómputo pesado. Ya se ha demostrado que Ray supera a Spark y Dask en ciertas tareas de aprendizaje automático como NLP, normalización de texto y otras.
  2. Los puntos de referencia muestran que Ray es de 10 a 30 veces más rápido que Python en serie y de 5 a 25 veces más rápido que el multiprocesamiento. Agregue la aceleración de GPU a la mezcla y verá por qué incluir Ray en sus canales de aprendizaje automático tiene un potencial sustancial para acelerar las cosas.
  3. Debido a que Ray se usa cada vez más para escalar diferentes bibliotecas de ML, puede usarlas todas juntas de manera escalable y en paralelo. Spark, por otro lado, lo limita a una cantidad sustancialmente menor de marcos disponibles en su ecosistema.
  4. Ray ofrece abstracciones únicas basadas en actores, donde varias tareas pueden trabajar en el mismo clúster de forma asíncrona, lo que conduce a una mejor utilización (en contraste, el modelo de cómputo de Spark es menos flexible, basado en la ejecución sincrónica de tareas paralelas).

¿Querer aprender más? Regístrese para asistir “Rendimiento 50 veces más rápido con Ray y NVIDIA GPU-Accelerated Compute”, una charla técnica sobre el laboratorio de datos de Domino, el 8 de marzo. Aprenderá las razones por las que debería elegir Ray en función de la infraestructura informática disponible, los volúmenes de datos, la complejidad de la carga de trabajo y más. También mostraremos a Ray en acción, demostrando las ganancias de rendimiento de la aceleración de GPU de NVIDIA.
 

punto_img

Información más reciente

punto_img