En el pasado, cuanto más grande era el modelo de IA, mejor era el rendimiento. En todos los modelos de OpenAI, por ejemplo, los parámetros se han multiplicado por 1000 y el rendimiento casi se ha triplicado.
| Modelo abierto de IA | Fecha de lanzamiento | Parámetros, B | MMLU |
|---|---|---|---|
| GPT2 | 2/14/19 | 1.5 | 0.324 |
| GPT3 | 6/11/20 | 175 | 0.539 |
| GPT3.5 | 3/15/22 | 175 | 0.7 |
| GPT4 | 3/14/23 | 1760 | 0.864 |
Pero el rendimiento del modelo pronto será asíntota, al menos en esta métrica.
Esto es una gráfico del rendimiento de muchos modelos recientes de IA según un punto de referencia ampliamente aceptado llamado MMLU. 1 MMLU mide el rendimiento de un modelo de IA en comparación con un estudiante de secundaria.
He categorizado los modelos de esta manera:
- Grande: > 100 mil millones de parámetros
- Medio: 15 a 100b parámetros
- Pequeño: < 15b parámetros
Con el tiempo, el rendimiento está convergiendo rápidamente tanto entre los tamaños de modelos como entre los proveedores de modelos.
¿Qué sucede cuando el modelo de código abierto de Facebook y el modelo de código cerrado de Google que impulsa a Google.com y los modelos de OpenAI que impulsan a ChatGPT funcionan todos igual de bien?
Los científicos informáticos se han enfrentado al desafío de distinguir el rendimiento relativo de estos modelos con muchas pruebas diferentes. Los usuarios tendrán dificultades para hacerlo mejor.
En ese punto, el valor en la capa del modelo debería colapsar. Si un modelo de código abierto disponible gratuitamente es tan bueno como uno pago, ¿por qué no utilizar el gratuito? Y si un modelo de código abierto más pequeño y menos costoso de operar es casi tan bueno, ¿por qué no utilizar ese?
El rápido crecimiento de la IA ha generado un gran interés en los propios modelos. Pero con bastante rapidez, la capa de infraestructura debería convertirse en un producto básico, tal como lo hizo en la nube, donde tres proveedores controlan el 65% de la participación de mercado: Amazon Web Services, Azure y Google Cloud Platform.
Las aplicaciones y las herramientas de desarrollo en torno a los enormes corredores de productos básicos de IA son la siguiente fase de desarrollo, donde la diferenciación y distribución de productos diferencian en lugar de los brillantes y crudos avances técnicos.2
1 MMLU mide 57 tareas diferentes incluyendo matemáticas, historia, informática y otros temas. Es una medida entre muchas y no es perfecta, como cualquier punto de referencia. Hay otros, incluido el sistema Elo. Aquí hay un visión general de las diferencias.. Cada punto de referencia califica el modelo según un espectro diferente: sesgo,
El razonamiento matemático son otros dos ejemplos.
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
- PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
- PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
- PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
- Fuente: https://www.tomtunguz.com/what-happens-when-model-performance-asymptotes/
