Artículo patrocinado

El uso cada vez mayor de la IA en la industria está acelerando enfoques más complejos, incluido el aprendizaje automático (ML), el aprendizaje profundo e incluso grandes modelos de lenguaje. Estos avances ofrecen una idea de las enormes cantidades de datos que se espera que se utilicen en el borde. Aunque el enfoque actual se ha centrado en cómo acelerar el funcionamiento de la red neuronal, Micron se centra en crear memoria y almacenamiento refinados para la IA en el borde.

¿Qué son los datos sintéticos?

El IDC predice que, en 2025, habrá 175 zettabytes (1 zettabyte = mil millones de terabytes) de nuevos datos generados en todo el mundo. Estas cantidades son difíciles de imaginar, pero los avances de la IA seguirán superando los límites de los sistemas que carecen de datos.

De hecho, los cada vez mayores modelos de IA se han visto sofocados por la cantidad de datos físicos reales que se obtienen a partir de mediciones directas o imágenes físicas. Es fácil identificar una naranja si tienes una muestra de 10,000 imágenes de naranjas disponibles. Pero si necesita comparar escenas específicas (por ejemplo, una multitud aleatoria versus una marcha organizada o anomalías en una galleta horneada versus una galleta perfecta), puede ser difícil confirmar resultados precisos a menos que tenga todas las muestras variantes para crear su línea de base. modelo.

La industria utiliza cada vez más datos sintéticos. Los datos sintéticos se generan artificialmente a partir de modelos de simulación que, por ejemplo, ofrecen realidades estadísticas de una misma imagen. Este enfoque es especialmente cierto en los sistemas de visión industrial donde las líneas base para las imágenes físicas son únicas y donde no se pueden encontrar suficientes "widgets" en la web para ofrecer una representación válida del modelo.

Por supuesto, el desafío es dónde residirán estas nuevas formas de datos. Ciertamente, cualquier conjunto de datos nuevo que se cree debe almacenarse en la nube o, para representaciones más exclusivas, más cerca de donde se deben analizar los datos: en el borde.

La complejidad del modelo y el muro de la memoria.

Encontrar el equilibrio óptimo entre la eficiencia algorítmica y el rendimiento del modelo de IA es una tarea compleja, ya que depende de factores como las características y el volumen de los datos, la disponibilidad de recursos, el consumo de energía, los requisitos de la carga de trabajo y más.

Los modelos de IA son algoritmos complejos que se pueden caracterizar por su número de parámetros: cuanto mayor sea el número de parámetros, más precisos serán los resultados. La industria comenzó con un modelo básico común, como ResNet50, ya que era fácil de implementar y se convirtió en la base para el rendimiento de la red. Pero ese modelo se centró en conjuntos de datos limitados y aplicaciones limitadas. A medida que estos transformadores han evolucionado, vemos que la evolución de los transformadores ha aumentado los parámetros sobre el aumento. ancho de banda de memoria. Este resultado es una tensión obvia: independientemente de la cantidad de datos que pueda manejar el modelo, estamos limitados por el ancho de banda de memoria y almacenamiento disponible para el modelo y los parámetros.

Para una comparación rápida, podemos observar el rendimiento de un sistema de IA integrado en tendrá operaciones por segundo (TOPES). Aquí vemos que los dispositivos AI edge de menos de 100 TOPS pueden necesitar alrededor de 225 GB/s y los de más de 100 TOPS pueden requerir 451 GB/s de ancho de banda de memoria (Tabla 1).

Entonces, una forma de optimizar ese modelo es considerar una memoria de mayor rendimiento que también ofrezca el menor consumo de energía.

La memoria se mantiene al día con las soluciones aceleradas por IA al evolucionar con nuevos estándares. Por ejemplo, las soluciones LPDDR4/4X (DRAM DDR4 de bajo consumo) y LPDDR5/5X (DRAM DDR5 de bajo consumo) tienen importantes mejoras de rendimiento con respecto a tecnologías anteriores.

LPDDR4 puede ejecutar hasta 4.2 GT/s por pin (transferencia de giga por segundo por pin) y admite un ancho de bus de hasta x64. LPDDR5X ofrece un aumento del 50 % en el rendimiento con respecto al LPDDR4, duplicando el rendimiento hasta 8.5 GT/s por pin. Además, LPDDR5 ofrece una eficiencia energética un 20% mejor que el LPDDR4X (fuente: Micron). Estos son avances importantes que pueden respaldar la necesidad de atender a casos de uso cada vez más amplios de IA.

¿Cuáles son las consideraciones de almacenamiento?

No basta con pensar que los recursos informáticos están limitados por los TOP sin procesar de la unidad de procesamiento o por el ancho de banda de la arquitectura de la memoria. A medida que los modelos de ML se vuelven más sofisticados, la cantidad de parámetros del modelo también se expande exponencialmente.

Los modelos y conjuntos de datos de aprendizaje automático se expanden para lograr mejores eficiencias en los modelos, por lo que también será necesario un almacenamiento integrado de mayor rendimiento. Las soluciones NAND administradas típicas, como e.MMC 5.1 con 3.2 Gb/s, son ideales no sólo para la recuperación de código sino también para el almacenamiento remoto de datos. Además, soluciones como UFS 3.1 pueden funcionar siete veces más rápido (hasta 23.2 Gb/s) para permitir modelos más complejos.

Las nuevas arquitecturas también están llevando al límite funciones que normalmente estaban relegadas a la nube o a la infraestructura de TI. Por ejemplo, las soluciones de borde implementan una capa segura que ofrece una brecha de aire entre los datos operativos restringidos y el dominio de TI/nube. La IA en el borde también admite la automatización inteligente, como categorizar, etiquetar y recuperar datos almacenados.

Los desarrollos de almacenamiento de memoria, como los SSD NVMe que admiten 3D TLC NAND, ofrecen un alto rendimiento para diversas cargas de trabajo perimetrales. Por ejemplo, el SSD NVMe 7450 de Micron utiliza una tecnología NAND de 176 capas que es ideal para la mayoría de las cargas de trabajo de centros de datos y de borde. Con una latencia de calidad de servicio (QoS) de 2 ms, es ideal para los requisitos de rendimiento de las plataformas de servidor SQL. También ofrece FIPS 140-3 Nivel 2 y Cumplimiento de la TAA para los requisitos de adquisiciones del gobierno federal de EE. UU.

El creciente ecosistema de procesadores de vanguardia con IA

Allied Market Research estima que el mercado de procesadores de vanguardia de IA crecerá hasta alcanzar los 9.6 millones de dólares en 2030. ⁴ Sin embargo, es interesante que esta nueva cohorte de empresas emergentes de procesadores de IA estén desarrollando ASIC y ASSP patentados orientados a aplicaciones perimetrales con más espacio y energía limitados. Estos nuevos conjuntos de chips también necesitan un equilibrio entre rendimiento y potencia cuando se trata de soluciones de memoria y almacenamiento.

Además, vemos que los proveedores de chipsets de IA han desarrollado tarjetas aceleradoras de factor de forma estándar (EDSFF) para centros de datos y empresas que pueden instalarse en una solución de 1U y ubicarse con servidores de almacenamiento adaptables para acelerar cualquier carga de trabajo, desde la inferencia de IA/ML hasta el procesamiento de video. — usando el mismo módulo.

¿Cómo se busca el socio de memoria y almacenamiento adecuado?

La IA ya no es una exageración, sino una realidad que se está implementando en todos los sectores verticales. En un estudio, 89% de la industria ya tiene o tendrá una estrategia en torno a la IA en el borde en los próximos dos años.⁵

Pero implementar la IA no es una tarea trivial, y las tecnologías y componentes adecuados marcarán la diferencia. El portafolio de Micron de las últimas tecnologías, tanto en memoria como en almacenamiento, lidera el camino para los clientes industriales con nuestra Propuesta de valor del coeficiente intelectual. Si está diseñando un sistema AI Edge, deje que Micron le ayude a llevar su producto al mercado más rápido que nunca. Póngase en contacto con su representante local de Micron o distribuidor de productos Micron (www.micron.com).

Comenta este artículo a continuación o vía X: @IoTNow_

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://www.iot-now.com/2024/02/07/141978-ai-at-the-edge-future-of-memory-and-storage-in-accelerating-intelligence/