Háblenos de su empresa
"Mastiṣka AI(Mastiṣka significa Cerebro en sánscrito) es una empresa de IA centrada en construir computadoras similares a cerebros para ejecutar modelos básicos de manera más eficiente para los casos de uso de IA generativa del mañana.

¿Qué problemas estás resolviendo?
Dados los beneficios de la IA/GenAI, su demanda no hará más que aumentar, al igual que sus efectos secundarios en nuestro planeta. ¿Cómo podemos reducir o neutralizar los efectos secundarios de la IA en nuestro planeta? La captura de carbono y la energía nuclear van en la dirección correcta. Pero necesitamos repensar fundamentalmente la forma en que hacemos IA: ¿es la forma incorrecta de hacer toneladas de multiplicaciones de matrices?

Nuestro cerebro puede aprender y realizar muchas tareas en paralelo, con 10 W o menos, pero ¿por qué estos sistemas de IA consumen decenas de megavatios para entrenar modelos?

Quizás el futuro depare arquitecturas energéticamente eficientes, como arquitecturas neuromórficas y transformadores basados ​​en redes neuronales que estén más cerca del cerebro humano, que podrían consumir entre 100 y 1000 veces menos energía, reduciendo así el costo del uso de la IA, democratizándola y salvando nuestra vida. planeta.

Los desafíos actuales que enfrentamos con la IA son a) disponibilidad, b) accesibilidad, c) asequibilidad y d) seguridad ambiental, junto con algunas recomendaciones para abordarlos.

Si prevemos el futuro, algunos conceptos útiles de AGI se demuestran en la película “HER”, donde el personaje 'Samantha' – una agente conversacional que es natural, entiende las emociones, muestra empatía, es un copiloto increíble en el trabajo – y sigue adelante. dispositivos portátiles durante todo el día, es posible que tengamos que abordar los siguientes desafíos ahora mismo.

Problema 1: La formación de un LLM puede costar entre 150 y más de 10 millones de dólares, y solo permite que aquellos con mayores recursos desarrollen IA. Además, los costos de inferencia también son enormes (cuesta 10 veces más que una búsqueda en la web)
—> Necesitamos mejorar la eficiencia energética de los modelos/hardware para democratizar la IA en beneficio de la humanidad.

Problema 2: La ejecución de enormes modelos de IA para agentes conversacionales o sistemas de recomendación afecta al medio ambiente en términos de consumo de electricidad y refrigeración.
—> Necesitamos mejorar la eficiencia energética de los modelos/hardware para salvar nuestro planeta para nuestros hijos.

Problema 3: El cerebro humano es capaz y puede realizar múltiples tareas, pero consume sólo 10 vatios en lugar de megavatios.
—> Quizás deberíamos construir máquinas como nuestro cerebro y no los multiplicadores de matriz regulares más rápido.

La humanidad sólo puede prosperar con innovaciones sostenibles, y no talando todos los bosques y hirviendo los océanos en nombre de la innovación. Debemos proteger nuestro planeta para el bienestar de nuestros hijos y de las generaciones futuras...

¿Qué áreas de aplicación son sus más fuertes?
Entrenamiento e inferencia de modelos básicos basados ​​en Transformer (y la futura arquitectura neuronal), con una eficiencia energética entre 50 y 100 veces mayor en comparación con las soluciones basadas en GPU actuales.

¿Qué mantiene a sus clientes despiertos por la noche?
Problemas para clientes que actualmente utilizan otros productos:

El consumo de electricidad para entrenar modelos de lenguaje gigantescos está fuera del techo; por ejemplo, entrenar un LLM de 13 mil millones de parámetros en 390 mil millones de tokens de texto en 200 GPU durante 7 días cuesta $ 151,744 (Fuente: nueva página de servicio del clúster de capacitación de HuggingFace – https://lnkd.in/g6Vc5cz3). E incluso modelos más grandes con más de 100 parámetros B cuestan más de 10 millones de dólares solo para entrenar. Luego, pague por la inferencia cada vez que llegue una nueva solicitud.

Consumo de agua para refrigeración, investigadores de la Universidad de California en Riverside estimaron el impacto ambiental de un servicio similar a ChatGPT y dicen que traga 500 mililitros de agua (cerca de lo que hay en una botella de agua de 16 onzas) cada vez que se le pregunta. Serie de entre 5 y 50 indicaciones o preguntas. La oferta varía según dónde se encuentren sus servidores y la temporada. La estimación incluye el uso indirecto de agua que las empresas no miden, como para enfriar las plantas de energía que suministran electricidad a los centros de datos. (Fuente: https://lnkd.in/gybcxX8C)

Problemas para no clientes de productos actuales:

No puedo permitirme CAPEX para comprar hardware
No puedo permitirme el lujo de utilizar servicios en la nube
No puedo innovar ni aprovechar la IA, estancado en un modelo de servicios que elimina cualquier ventaja competitiva.

¿Cómo es el panorama competitivo y cómo se diferencian?

• Las GPU dominan el espacio de formación, aunque los ASIC especializados también compiten en este segmento
• La inferencia de Cloud & Edge tiene demasiadas opciones disponibles

Digital, analógico, fotónico: lo que sea, la gente está tratando de abordar el mismo problema.

¿Puede compartir su opinión sobre el estado actual de la arquitectura de chips para IA/ML, es decir, cuáles considera que son las tendencias y oportunidades más importantes en este momento?

Siguientes tendencias:
Tendencia 1: Hace 10 años, el aprendizaje profundo basado en hardware floreció y ahora el mismo hardware está inhibiendo el progreso. Debido al enorme costo del hardware y los costos de electricidad para ejecutar los modelos, acceder al hardware se ha convertido en un desafío. Sólo las empresas con mucho dinero pueden permitírselo y se están convirtiendo en monopolios.

Tendencia 2: Ahora que estos modelos están ahí, necesitamos usarlos con fines prácticos para que la carga de inferencia aumente, permitiendo que las CPU con aceleradores de IA vuelvan a ser el centro de atención.

Tendencia 3: Las empresas emergentes están tratando de idear representaciones alternativas de números de punto flotante que el formato tradicional IEEE, como el logarítmico y el basado en posiciones, son buenos pero no suficientes. La optimización del espacio de diseño de PPA$ explota cuando intentamos optimizar uno y otro se lanza.

Tendencia 4: La industria se está alejando del modelo de IA basado en servicios para albergar sus propios modelos privados en sus propias instalaciones, pero el acceso al hardware es un desafío debido a la escasez de suministro, sanciones, etc.

Estado actual de las cosas:
La disponibilidad de hardware y datos impulsó el crecimiento de la IA hace 10 años, ahora el mismo hardware lo está inhibiendo. Permítanme explicarles.

Desde que las CPU funcionaron miserablemente y las GPU se reutilizaron para hacer IA, sucedieron muchas cosas

Las empresas han estado abordando 4 segmentos de AI/ML, a saber: 1) capacitación en la nube, 2) inferencia en la nube, 3) inferencia de borde y 4) capacitación de borde (aprendizaje federado para aplicaciones sensibles a la privacidad).
Digital y analógico

Lado de capacitación: una gran cantidad de empresas que fabrican GPU, aceleradores de clientes basados ​​en RISC-V, chips de escala de oblea (núcleos de 850 XNUMX), etc., donde las CPU tradicionales carecen (de su propósito general). Lado de la inferencia: los aceleradores NN están disponibles de todos los fabricantes, en teléfonos inteligentes, computadoras portátiles y otros dispositivos de vanguardia.

Las arquitecturas basadas en memristores analógicos también aparecieron hace algún tiempo.

Creemos que las CPU pueden ser muy buenas para realizar inferencias si las mejoramos con aceleración como extensiones de matriz.

Lado RISC-V de las cosas:
En el lado de RISC-V, estamos desarrollando aceleradores para operaciones matriciales y otras operaciones no lineales para eliminar posibles cuellos de botella para las cargas de trabajo de los transformadores. Los cuellos de botella de Von Neumann también se están abordando diseñando memorias más cercanas a la informática, lo que eventualmente hará que las CPU con aceleración de IA sean la opción correcta para la inferencia.

Oportunidades:
Existen oportunidades únicas para llenar el mercado de modelos de cimentaciones. Ejemplo: OpenAI ha mencionado que no pudieron asegurar suficiente computación de IA (GPU) para continuar impulsando sus servicios ChatGPT... y las noticias informan sobre costos de electricidad 10 veces mayores que los de la búsqueda regular en Internet y 500 ml de agua para enfriar los sistemas. para cada consulta. Hay un mercado que llenar aquí: no es un nicho, sino el mercado completo que democratizará la IA y abordará todos los desafíos mencionados anteriormente: a) disponibilidad, b) accesibilidad, c) asequibilidad y d) seguridad ambiental.

¿En qué nuevas características/tecnología estás trabajando?
Estamos construyendo una computadora similar a un cerebro aprovechando tecnologías neuromórficas y adaptando modelos para aprovechar el hardware energéticamente eficiente, reutilizando la mayoría de los marcos abiertos disponibles.

¿Cómo imagina que crecerá o cambiará el sector de IA/ML en los próximos 12 a 18 meses?
A medida que la demanda de GPU se ha agriado (cuesta alrededor de $ 30 mil) y algunas partes del mundo enfrentan sanciones por comprar estas GPU, algunas partes del mundo sienten que están congeladas en la investigación y el desarrollo de IA sin acceso a las GPU. Las plataformas de hardware alternativas van a capturar el mercado.
Los modelos tal vez comiencen a reducirse: los modelos personalizados o incluso fundamentalmente la densidad de información crecería

Misma pregunta, pero ¿qué pasa con el crecimiento y el cambio en los próximos 3 a 5 años?
a) Las CPU con extensiones de IA capturarían el mercado de inferencia de IA
b) Los modelos se volverían ágiles y los parámetros desaparecerían a medida que la densidad de la información mejore del 16% al 90%.
c) Mejora la eficiencia energética, se reduce la huella de CO2
d) Surgen nuevas arquitecturas
e) los costos de hardware y energía disminuyen, por lo que la barrera de entrada para que las empresas más pequeñas creen y entrenen modelos se vuelva asequible
f) la gente habla del momento anterior a AGI, pero mi punto de referencia sería el personaje de Samantha (IA conversacional) en la película “ella”. Eso tal vez sea poco probable dado el alto costo de la ampliación.

¿Cuáles son algunos de los desafíos que podrían afectar o limitar el crecimiento del sector de IA/ML?
a) Acceso al hardware
b) Costos de energía y costos de refrigeración y daño ambiental

Lea también

Entrevista al director ejecutivo: David Moore de Pragmatic

Entrevista al director ejecutivo: Dra. Meghali Chopra de Sandbox Semiconductor

Entrevista al director ejecutivo: Dr. J Provine de Aligned Carbon