Menos de tres meses después de que los superchips Grace Hopper de Nvidia entraran en plena producción, el CEO y aficionado a las chaquetas de cuero, Jensen Huang, subió esta semana al escenario en SIGGRAPH 2023 para presentar una versión aún más capaz del silicio.

El próximo procesador comparte el mismo ADN básico que el GH200: la forma final del superchip Grace Hopper Nvidia anunció a principios de 2022 y se mostró en Computex esta primavera. La CPU Arm Neoverse V72 Grace de 2 núcleos del dispositivo, su GPU Hopper y su interconexión NVLink-C900C de 2 GB/s se mantienen sin cambios. Y, para nuestra confusión inicial, el nuevo chip comparte el mismo apodo GH200.

Nvidia nos dice que esto se debe a que son configuraciones diferentes de la misma pieza, por lo que no es diferente a las versiones de 40 GB y 80 GB del A100 de hace unos años. De hecho, la carga de memoria es la principal diferencia aquí, al menos por ahora. En lugar de 96 GB de HBM3 vRAM y 480 GB de LPDDR5x DRAM en el modelo de esta primavera, el GH200 de "próxima generación" cuenta con 141 GB de HBM3e y 500 GB de 400 GB/s LPDDR5x más lento. La generación anterior usaba 512 GB/seg LPDDR5x DRAM.

Una reducción de aproximadamente el 20 por ciento en el rendimiento de DRAM es bastante sustancial. Sin embargo, lo que el nuevo GH200 pierde en el ancho de banda de la memoria de la CPU, lo compensa con el ancho de banda de vRAM para la GPU.

Según Nvidia, la memoria HBM3e utilizada en el chip es un 50 por ciento más rápida que el HBM3 estándar y es capaz de alcanzar velocidades de hasta 5 TB/seg. El grupo más grande de HBM también es notable, ya que significa que los clientes deberían poder adaptar modelos de IA más grandes en menos sistemas para la inferencia.

Durante su SIGGRAPH fundamental El martes, Huang habló sobre una configuración de doble superchip. Según Nvidia, una conexión de alta velocidad entre los chips les permite funcionar lógicamente como un único recurso de CPU y GPU con 144 núcleos de CPU, ocho petaFLOPS de rendimiento FP8 y 282 GB de HBM3e.

“Prácticamente podrías tomar cualquier modelo de lenguaje grande que te guste y ponerlo en esto, e inferirá como loco”, alardeó Huang.

Para cargas de trabajo más grandes, como el entrenamiento de IA, el GH200 se puede escalar hasta 256 chips en una configuración llamada DGX GH200. Sin embargo, aparte de HBM más rápido y rápido, no ha cambiado mucho desde que mostró el racimo esta primavera. La tienda de chips dice que el clúster de 24 racks aún es capaz de ofrecer un rendimiento exaFLOP de FP8.

Los comentarios de Huang reflejan los de AMD. La capacidad de incluir modelos de lenguajes grandes en un solo acelerador, o al menos en un solo servidor, fue un punto de venta importante detrás de la GPU MI300X de AMD. anunció durante el evento del centro de datos de junio de la casa de chips. Ese procesador cuenta con un grupo de vRAM de 192 GB aún más grande, aunque de la variedad HBM3 más lenta.

Hasta hace poco, si necesitaba más de 80 GB de vRAM, sus opciones para quedarse con Nvidia eran limitadas. Podría agregar una segunda GPU a la mezcla, pero esa es una forma bastante costosa de agregar memoria si no necesita también la computación. Aquí, AMD e Intel se diferenciaron un poco con sus tarjetas Instinct y GPU Max, respectivamente, disponibles con hasta 128 GB de HBM.

Sin embargo, aquellos ansiosos por tener en sus manos un superchip de mayor capacidad tendrán que esperar. Nvidia afirma que la pieza debería llegar a los sistemas OEM en algún momento del segundo trimestre de 2. Es probable que muchos de estos sistemas utilicen el servidor MGX especificaciones, de las cuales el gigante de los procesadores dice que sus superchips Grace Hopper estarán disponibles en cualquiera de las 100 variaciones diferentes. ®

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Automoción / vehículos eléctricos, Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• Desplazamientos de bloque. Modernización de la propiedad de compensaciones ambientales. Accede Aquí.
• Fuente: https://go.theregister.com/feed/www.theregister.com/2023/08/09/nvidia_gracehopper_hbm3e/